Python Web Scraping / Data Extraction Specialist
Шукаємо аутсорс-спеціаліста для задач із парсингу каталогів, сайтів виробників та OEM-джерел.
Нам потрібно збирати структуровану інформацію з різних сайтів: каталоги товарів, моделі техніки, сумісність деталей, OEM part numbers, назви товарів, посилання на джерело та інші поля залежно від конкретного сайту.
Основні задачі:
- аналіз сайтів і пошук оптимального способу отримання даних: API, HTML, JSON, CSV/XLSX, PDF або інші доступні джерела;
- написання скриптів для збору даних;
- очищення, нормалізація та структурування даних;
- передача результату в CSV, Google Sheets або погоджену структуру для подальшого імпорту в нашу базу;
- реалізація повторного запуску без дублювання записів;
- логіка оновлення даних: new / updated / unchanged;
- логування запусків, помилок і кількості зібраних/оновлених записів;
- коротка документація: як запустити скрипт, які залежності потрібні, які поля збираються, який unique key використовується.
Потрібні навички:
- Python або інша релевантна мова для scraping / data extraction;
- requests, BeautifulSoup, lxml, pandas;
- Selenium або Playwright для сайтів із JavaScript;
- робота з API, JSON, CSV, XLSX;
- базове розуміння SQL або підготовки даних для імпорту в базу;
- Git / GitHub;
- вміння працювати з регулярним оновленням даних і deduplication / upsert-логікою;
- уважність до структури даних і стабільності скриптів.
Буде плюсом:
- досвід парсингу e-commerce сайтів, каталогів запчастин, OEM-каталогів або технічної документації;
- досвід роботи з Google Sheets API;
- досвід обробки PDF-каталогів або таблиць;
- досвід налаштування регулярного запуску скриптів;
- вміння описувати обмеження джерела та ризики підтримки парсера.
Формат співпраці:
Плануємо працювати погодинно. Для кожного нового сайту спочатку потрібно зробити короткий technical discovery: проаналізувати джерело, зрозуміти спосіб отримання даних, оцінити складність, ризики та орієнтовний час реалізації.
Після цього погоджуємо обсяг робіт і ліміт годин на реалізацію.
У відповіді, будь ласка, надішліть:
- приклади scraping / data extraction проєктів;
- GitHub або приклади коду, якщо є;
- вашу оптимальну погодинну ставку;
- які інструменти зазвичай використовуєте.
-
Зайду з technical discovery по кожному джерелу: перевірю API/HTML/JSON/CSV/XLSX/PDF, запропоную спосіб збору, напишу скрипт, підготую структуру даних, дедуплікацію, upsert-логіку, експорт і коротку документацію.
У вас уже є еталонна вибірка по одному каталогу, щоб перевірити, що парсер не переплутав OEM part numbers, сумісність, категорії та не пропустив частину товарів до імпорту в базу?
Погодинна ставка, ліміт годин і перший сайт для тесту — в особистій переписці після перегляду джерела даних.
Схожий виконаний проєкт: В модулі OpenCart виправити 5 проблем повязаних з Facebook API
-
5097 37 2 Вітаю!
Маю релевантний досвід саме під Ваші задачі:
— Розробляв комерційні скрапери для збору товарних каталогів з e-commerce сайтів (Playwright, BeautifulSoup, requests) з обходом антибот-захисту та ротацією проксі
— Реалізовував upsert-логіку (new / updated / unchanged) та дедублікацію при повторних запусках
— Збирав і нормалізував великі обсяги даних (27 000+ записів) з подальшим збереженням у PostgreSQL та експортом у CSV
— Працював з API, JSON, XLSX, а також динамічними JS-сайтами через Playwright
— Налаштовував логування запусків, помилок та статистики зібраних записів
… — Писав коротку документацію до кожного скрипта
Інструменти: Python, Playwright, BeautifulSoup, requests, pandas, lxml, PostgreSQL, Git
Портфоліо та приклади робіт:Freelancehunt
Погодинна ставка: від $12/год — фінальна ставка після технічного discovery першого джерела.
Готовий розпочати з аналізу першого сайту і надати оцінку складності та термінів. Будь ласка, надішліть посилання на перше джерело!
-
312 1 0 Добрий день, бачу що потрібнi парсеры. Оптимальна погодинна ставка — 400 грн. Звертайтесь скину приклад парсера найнижчих цiн запчастин для машин з адмiнкою. Маю досвiд
-
3411 32 0 Вітаю!
Регулярно займаюсь парсингом різної складності, в портфоліо є приклади робіт.
Для уточнення усіх деталей пишіть в особисті повідомлення
-
6216 74 1 Доброго дня. Маю велиукий досівд в різноманітному парсингу.
https://freelancehunt.com/showcase/work/p2p-aggregator-agregator-kursiv-7h-kripto/1821723.html
https://freelancehunt.com/showcase/work/nextdoor-parser/1759679.html
Freelancehunt
10-15usd - залежно від складності.
framework Scrapy, aiohttp, requests. lxml
в будь яку базу або таблиці.
-
2335 37 0 Доброго дня, багато чого парсив, ось приклади
https://freelancehunt.com/project/parsing-massove-stvorennya-storinok-na/1261589.html
https://freelancehunt.com/project/parser-dannyih-dlya-parser-yutub/1266572.html
https://freelancehunt.com/project/parser-saytyi-muzhskoy-kosmetiki-2/1239346.html
Працював з усіма перерахованими технологіями.
Оплата краще за проект, а не погодинна.
… Може дати лінк на перший сайт, зроблю вам technical discovery.
-
3088 31 0 Вітаю! Ознайомився із завданням — це мій основний профіль. Маю великий досвід розробки відмовостійких систем збору даних на Python (BeautifulSoup, Playwright/Selenium, асинхронні запити) із побудовою правильної архітектури: дедуплікація (idempotency), логування станів записів (new/updated/unchanged), обробка помилок та робота через проксі для обходу захисту.
Формат із попереднім Technical Discovery підтримую на 100% — це єдиний професійний підхід, який захищає від прихованих підводних каменів. Спочатку аналізую API/HTML джерела, оцінюю складність (структура, захист, об'єм), погоджую з вами ліміт годин і лише тоді переходжу до коду. Результат віддаю у структурованому вигляді (CSV/Google Sheets/JSON/SQL-ready) разом із лаконічним README для запуску.
Моя оптимальна ставка для довгострокової співпраці — $20-25/година (залежно від об'єму та регулярності задач). Інструменти: Python (asyncio, aiohttp/requests, BS4), Playwright (для JS-heavy сайтів), Pandas (нормалізація даних), Git. Приклади архітектури та подібних кейсів готовий показати в особистих повідомленнях. Давайте обговоримо перше джерело!
-
4975 41 4 1 Доброго дня!
Спеціалізуюся на Python web scraping та видобутку даних. Маю значний досвід роботи з API, Google Sheets, deduplication та структуруванням інформації, забезпечуючи стабільні та ефективні рішення для ваших потреб.
Напишіть мені в лс, уточнимо деталі.
-
738 4 0 Доброго дня, я є експертом у галузі парсингу. Пишу все на мовах Go та Node.js. Якщо потрібно зробити складний і якісний парсинг, звертайтеся.