Парсинг сайтів постачальників
Є близько 30 сайтів постачальників.
на кожному сайті вхід за логіном і паролем. (деякі без авторизації)
сайти на різних платформах,
XML вивантаження у постачальників немає.
зараз працює система парсингу, але хочеться все переписати або доопрацювати сучасніше.
Зараз реалізований простий сайт з пошуком, раз на добу вночі відбувається парсинг.
Результат видає: фото, назва, ціна, наявність і ім'я постачальника.
Якщо все з 0 переписувати, то ось :
http://b2b.spartakelectronics.com/ru/login
http://www.golden-house.od.ua/
https://tec-star.com.ua/
http://masterberg.com.ua
https://elite-top.com.ua/
http://www.dtopelectronic.com.ua/
https://daikens.com.ua/
https://rainberg.in.ua/
https://lambix.prom.ua/g35022709-tovar
https://magnitopt.com.ua
https://shop-euromax.od.ua/
http://texnano.com.ua
https://hi-tech-odessa.com.ua/
https://b2b.delltalife.com/login/
http://www.andopt2.com.ua/
https://www.smartopt.com.ua/
https://matrix7km.com/
Melad.com.ua
https://venera7km.com.ua/
https://domte.com.ua/
http://hj-pheenecs.com.ua/
Ці додати треба:
https://bmaudio.com.ua/
https://atlanfa.com.ua/
http://www.gold-tor.com.ua/
http://asad.in.ua
Ці перестали працювати:
https://jarviz-opt.com.ua/
jmaxtvshop.com.ua
https://211.in.ua
http://www.top-kitchen.com.ua/
Поточна версія написана на python з бібліотеками requests, bs4, lxml
У відео поточна версія
Ціна і терміни і як найкраще зробити
Додатки 1
-
7 днів20 000 UAH
7 днів20 000 UAH
Напишу все якісно з нуля використовуючи швидку асинхронну бібліотеку для парсингу а також напишу веб сторінку пошуку по більш сучасному
-
70 днів27 000 UAH
70 днів27 000 UAH
Добрий день. Довготривалий проєкт, але готовий розглянути. Одразу скажу, що на момент написання ставки я сайти НЕ дивився. Залишаю ставку, щоб Ви могли розуміти приблизні терміни і бюджет - вказую мінімальні, за які готовий розглянути Вашу пропозицію. Якщо приблизна оцінка Вас влаштовує - пишіть, будемо домовлятись про точну.
P. S. Максимальний бюджет звичайного Сейфу - 27 тисяч гривень. Моя ставка - 30 тисяч
Буду радий співпраці! -
5 днів16 500 UAH
66 5 днів16 500 UAH
Доброго дня, маю великий досвід у розробці парсерів і вмію працювати з сайтами. Зможемо поставити сайт на хостинг, і якщо потрібно, на ваш кастомний домен або на безкоштовний, щоб доступ був не тільки локально у вас. Якщо цікаво, пишіть в особисті повідомлення, обговоримо. Готова підтримувати проект у подальшому і покращувати, за окрему плату.
-
7 днів20 000 UAH
986 12 1 7 днів20 000 UAH
Розробляв схожий парсер для служб доставки, а також парсер із подібними параметрами пошуку для сайту «Таврія В». Можу запропонувати рішення у вигляді програми, яка запускатиметься за розкладом із гнучкими налаштуваннями інтервалів та часу роботи парсера.
-
4 дні27 000 UAH
172 1 1 4 дні27 000 UAH
Привіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.
-
1 день1000 UAH
1562 7 0 1 день1000 UAH
я входжу до топ-5 розробників у категорії «Штучний інтелект і машинне навчання» серед ~2100 фахівців на платформі.
Гарантую:
- Швидке та якісне виконання завдання
- Чітке дотримання дедлайнів
- Регулярний зв'язок протягом усього процесу
Буду радий обговорити деталі вашого проекту у приватних повідомленнях.
-
5 днів25 000 UAH
1422 13 0 5 днів25 000 UAH
Вітаю!
Задачу зрозумів. Маю досвід у розробці великих систем парсингу.
Як на мою думку краще зробити зараз - не «косметично латати», а:
- уніфікований результат
- можливість легко додавати / вимикати сайти
- частину сайтів перевести на Playwright (де JS / антибот)
- залишити requests там, де можливо (швидкість)
… Оцінка вартості
- Переписати все з нуля:
Архітектура + базовий движок
Перепис усіх сайтів з додаванням антибот системи
Підключення нових сайтів
Логи, стабільність
Вартість: ~25 000 грн
Термін: 4–5 тижнів
- Додавання або редагування одного сайту
Адаптація під нову верстку
Авторизація (якщо є)
Вбудування в існуючу систему
1000 грн / сайт
Термін: 1–2 дні / сайт
По сайтах
Сайти зі списку додати - без проблем
Сайти, що перестали працювати - треба дивитись, що саме зламалось (JS, captcha, зміни верстки)
Готовий обговорити як краще у приватних повідомленнях
-
1 день4000 UAH
682 6 0 1 день4000 UAH
Те, що ви показуєте з фільтрами та картинками на відео - це вже результат парсингу і відображається з бази даних. Парсери, судячи з усього, розроблені і вставлені в планувальник, щоб можна було незалежно запускати, але я більше ніж впевнений, що без потреби туди ніхто не заходить, і якщо щось зламалося, то ви просто не будете про це знати. Швидше за все, все написано на Python + Flask + Bootstrap. Яка база даних використовується, важко сказати, потрібно дивитися в код. Зроблено просто, але воно, швидше за все, працювало і вас влаштовувало. Якби програміст виправляв те, що відвалювалося, то туди ніхто і не дивився б далі. Щоб можна було ззовні дивитися - можна розмістити на зовнішньому хостингу за 5$ на місяць, і все буде прекрасно працювати, і бачити можна буде тільки за паролем. Потрібно розуміти ВСІ ваші претензії до того, що є, після цього можна сказати, що потрібно зробити і порахувати час-бюджет. Може, вам і так нормально, просто треба поправити, щоб поламані працювали :) Давайте обговорювати і домовлятися.
-
3 дні6000 UAH
1860 21 0 3 дні6000 UAH
Доброго дня. Можна зробити можливість відкривати віддалено, можна переписати все з нуля, можна придумати більш зручну форму використання, можна навіть без планувальника все реалізувати. Коротко, можна взагалі все, все залежить від вашого бюджету, який ви готові виділити на подібне завдання. В рамках бюджету я зможу запропонувати найкращу реалізацію для вас.
Ще кілька слів про можливість відкривати сайт віддалено. Якщо цей парсинг вже відбувається у вас на окремому орендованому сервері на хостингу, тоді з цим проблем не буде. А якщо у вас це все відбувається на вашому комп'ютері, тоді точно знадобиться орендований сервер для цього.
Також мені знадобляться вихідники цих python скриптів, щоб оцінити вже виконану роботу і обсяг майбутніх робіт по переписуванню з нуля, якщо таке рішення буде прийнято.
-
7 днів25 000 UAH
1251 35 1 3 7 днів25 000 UAH
Доброго дня, готовий виконати. За плечима великий досвід. Пишіть в особисті повідомлення, обговоримо.
-
7 днів2000 UAH
8753 60 0 1 7 днів2000 UAH
Доброго дня. Можу запропонувати розробити інструмент, який ніколи не підведе.
Займаю топову позицію по питону.
З радістю виконаю цей проект.
-
5 днів1000 UAH
4120 8 0 1 5 днів1000 UAH
Доброго дня.
Наша команда має багаторічний досвід у розробці ERP, CRM, CMS та спеціалізованого програмного забезпечення для бізнесу. Ми створюємо ефективні цифрові рішення, що допомагають автоматизувати процеси, підвищувати продуктивність та масштабувати компанії.
Працюємо з сучасними технологіями — від ботів і скриптів до AI-агентів та аналітичних систем. Розробляємо сайти різної складності. У нашому портфоліо — реалізовані ERP-рішення для готельного бізнесу, а також для компаній, які займаються імпортом та продажем товарів, а також власний продукт XFitness — ERP-система, створена спеціально для фітнес-клубів.
Ми спеціалізуємось в таких сферах:
-Розробка ERP Систем
-Розробка CRM Систем
-Розробка Веб-Сайтів будь-якої складності
… -Розробка CMS Систем
-Підтримка Веб-Сайтів
-Розробка OpenCart
-Підтримка OpenCart
-Модифікація OpenCart
-Доробка OpenCart
-Розробка WordPress
-Підтримка WordPress
-Модифікація WordPress
-Доробка WordPress
-Розробка ECommerce
-Підтримка ECommerce
-Модифікація ECommerce
-Доробка ECommerce
-Розробка Веб-Додатків
-Підтримка 1С Серверів
-Підтримка Веб-Серверів
-Розробка мобільних додатків
- Парсинг даних
-Розробка ботів
-Розробка AI-агентів
та на таких технологіях:
- Python
-PHP
-Laravel
-Symfony
-Yii2
-JS
-NodeJS
-jQuery
-TypeScript
-MySQL
-HTML
-CSS
-Vue
-Nuxt.js
-React
-React Native
-C++
-
10 днів16 000 UAH
2263 25 1 10 днів16 000 UAH
Вітаю, python розробник з досвідом більше 5 років, парсингом займаюсь більше 4. Проект великий адже потрібно зробити модулі під кожен веб-сайт. Загалом ваш стек умісний,адже сайтів багато і це найшвидший варіант, проте не найбезпечніший. Я переглянув декілька веб-сайтів і парсинг там можна провести без авторизації і захисту сильного немає тому можна використовувати поточний стек, проте потрібно переглянути весь список адже для деяких можливо знадобиться використання антидетект браузерів для емуляції. Вказую сроки за які я впевнений що я це виконаю та ціну з урахуванням додаткового коду під веб-сайти з кращою системою безпеки. Загалом реалізувати не проблема, тут просто питання часу на обробку всіх веб сайтів. Якщо вас влаштовують умови то пишіть в особисті поспілкуємось та буду радий співпраці!
-
10 днів4000 UAH
130 10 днів4000 UAH
Доброго дня. Я працював з дуже багатьма парсерами, обходячи захист клаудфлара, використовуючи авторизацію тощо. Можу взятися за ваш парсер. Досвід з бібліотеками, зазначеними вами, є, але думаю, що доведеться їх замінити, оскільки при найменшому захисті сайту - код зламається. Напишіть в особисті повідомлення, я хотів би оглянути вже готовий код, тоді вийде назвати точну ціну, але думаю, що буде приблизно так, як зазначено.
-
1 день700 UAH
1048 7 1 1 день700 UAH
Привіт!
Є досвід у парсингу сайтів з різними механізмами авторизації, нещодавно реалізував систему збору даних з кількох торгових платформ, використовуючи Python, BeautifulSoup та Requests.
Я перепишу вашу систему парсингу з нуля, застосувавши сучасні практики, такі як асинхронність через aiohttp, що дозволить значно прискорити процес збору даних. Витягуватиму інформацію (фото, назва, ціна, наявність) згідно з вашими вимогами.
Це рішення забезпечить гнучкість у подальшій модернізації, а також зможе адаптуватися під нові сайти без зайвих зусиль. Давайте обговоримо деталі!
-
5 днів3000 UAH
324 5 днів3000 UAH
Вітаю! Маю досвід у парсингу сайтів та автоматизації маркетплейсів, зокрема з Prom.ua, OLX. Думаю, що переписувати систему з нуля не обов'язково — доцільніше оптимізувати поточний код на requests/bs4 та інтегрувати нових постачальників у наявну архітектуру.
Напишіть в ЛС для детального обговорення технічних нюансів та термінів реалізації.
-
1 день1000 UAH
250 37 1 2 1 день1000 UAH
Доброго дня,
Хочу попросити вас переглянути файли поточної реалізації системи парсингу та дати фідбек щодо можливого оновлення або повного переписування рішення.
-
14 днів2999 UAH
97 34 4 2 14 днів2999 UAH
Доброго дня.
Завдання зрозуміле.
Парсери будуть на ВПС, все буде працювати без вашої участі.
Будет сайт, який можна відкривати віддалено, можемо додати фільтри або розширений пошук, якщо потрібно.
Щодо ціни - потрібно подивитися кілька прикладів парсерів, які вже працюють, чи вийде їх адаптувати.
Пишіть - все обговоримо.
-
6 днів10 000 UAH
358 1 0 6 днів10 000 UAH
Доброго дня!
У мене є досвід розробки систем парсингу та автоматизації на Python. Бачу, що у вас зараз працює базове рішення, але для сучасного рівня краще побудувати модульну систему, де кожен сайт матиме свій адаптер. Це дозволить легко додавати нові джерела та підтримувати стабільність при змінах.
-
2 дні1500 UAH
588 0 1 2 дні1500 UAH
Доброго дня, можу вам надіслати дані (~3000 товарів 90 доларів) з різних сайтів. Тільки розпишіть детальніше, які дані потрібні і куди їх покласти. Буду радий співпраці.
-
5 днів1500 UAH
414 1 0 5 днів1500 UAH
Привіт, готовий зробити, треба обговорити деталі проекту в ЛС і можна почати роботу.
-
Здравствуйте.
Нужно все сайты смотреть... -
Можно поинтересоваться, почему отклоняете почти все ставки подряд?
От людей с опытом в разработке парсеров и не только.
-
Даний замовник виставляє не свої проекти а копіює їх з іншого сайту фрілансу на якому від імені фрілансера пише що готовий виконати все якісно. При цьому ставить там високу ціну а тут хоче знайти хто йому виконає дешево
-
Якщо є посилання то надішліть в підтримку
-
Вже це зробив на 3 проекти оригінали яких знайшов на іншому сайті
-
Актуальні фриланс-проєкти в категорії Python
Побудувути модель калсифікації клієнтів1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python. AI та машинне навчання, Python ∙ 45 хвилин тому ∙ 7 ставок |
ІТ Автоматизація ведення VAT- звітності
10 000 UAH
Необхідно розробити систему для автоматизації перенесення даних про продажі з CRM у бухгалтерську систему Wafeq. Система має імпортувати банківські та платіжні звіти, автоматично звіряти платежі з інвойсами, формувати інвойси для VAT-звітності та мінімізувати ручну роботу.… AI та машинне навчання, Python ∙ 6 годин 10 хвилин тому ∙ 26 ставок |
Обслуговування софта
5000 UAH
Потрібно внести правки в софт та його обслуговувати в подальшому, софт робить замовлення по заданим параметрам та відправляє його в телеграм бот Python, Розробка ботів ∙ 6 годин 59 хвилин тому ∙ 47 ставок |
Інструмент звірки рахунків з банком, картами та бухгалтеромТехнічне завдання: інструмент звірки рахунків з банком, картами та бухгалтеромЗагальна метаПотрібен локальний інструмент (скрипт/невеликий додаток на Python), який запускається вручну раз на 1-2 місяці на моєму комп'ютері і робить звірку між:Рахунками, які я виставив клієнтам і… Python, Десктопні додатки ∙ 18 годин 23 хвилини тому ∙ 34 ставки |
Автоматичне публікування відео в соціальні мережі за розкладомТехнічне завдання (ТЗ)Автоматична публікація відео в соціальні мережі за розкладомОпис проектуПотрібен скрипт/бот (Python бажано, або будь-яке інше рішення на ваш вибір — головне стабільність і простота підтримки), який автоматично публікує відео з папки в соціальні мережі та… Python, Розробка ботів ∙ 1 день 6 годин тому ∙ 54 ставки |