Шукаємо аутсорс-спеціаліста для задач із парсингу каталогів, сайтів виробників та OEM-джерел.
Нам потрібно збирати структуровану інформацію з різних сайтів: каталоги товарів, моделі техніки, сумісність деталей, OEM part numbers, назви товарів, посилання на джерело та інші поля залежно від конкретного сайту.
Основні задачі:
- аналіз сайтів і пошук оптимального способу отримання даних: API, HTML, JSON, CSV/XLSX, PDF або інші доступні джерела;
- написання скриптів для збору даних;
- очищення, нормалізація та структурування даних;
- передача результату в CSV, Google Sheets або погоджену структуру для подальшого імпорту в нашу базу;
- реалізація повторного запуску без дублювання записів;
- логіка оновлення даних: new / updated / unchanged;
- логування запусків, помилок і кількості зібраних/оновлених записів;
- коротка документація: як запустити скрипт, які залежності потрібні, які поля збираються, який unique key використовується.
Потрібні навички:
- Python або інша релевантна мова для scraping / data extraction;
- requests, BeautifulSoup, lxml, pandas;
- Selenium або Playwright для сайтів із JavaScript;
- робота з API, JSON, CSV, XLSX;
- базове розуміння SQL або підготовки даних для імпорту в базу;
- Git / GitHub;
- вміння працювати з регулярним оновленням даних і deduplication / upsert-логікою;
- уважність до структури даних і стабільності скриптів.
Буде плюсом:
- досвід парсингу e-commerce сайтів, каталогів запчастин, OEM-каталогів або технічної документації;
- досвід роботи з Google Sheets API;
- досвід обробки PDF-каталогів або таблиць;
- досвід налаштування регулярного запуску скриптів;
- вміння описувати обмеження джерела та ризики підтримки парсера.
Формат співпраці:
Плануємо працювати погодинно. Для кожного нового сайту спочатку потрібно зробити короткий technical discovery: проаналізувати джерело, зрозуміти спосіб отримання даних, оцінити складність, ризики та орієнтовний час реалізації.
Після цього погоджуємо обсяг робіт і ліміт годин на реалізацію.
У відповіді, будь ласка, надішліть:
- приклади scraping / data extraction проєктів;
- GitHub або приклади коду, якщо є;
- вашу оптимальну погодинну ставку;
- які інструменти зазвичай використовуєте.