Ищем аутсорс-специалиста для задач по парсингу каталогов, сайтов производителей и OEM-источников.
Нам нужно собирать структурированную информацию с различных сайтов: каталоги товаров, модели техники, совместимость деталей, OEM номера деталей, названия товаров, ссылки на источник и другие поля в зависимости от конкретного сайта.
Основные задачи:
- анализ сайтов и поиск оптимального способа получения данных: API, HTML, JSON, CSV/XLSX, PDF или другие доступные источники;
- написание скриптов для сбора данных;
- очистка, нормализация и структурирование данных;
- передача результата в CSV, Google Sheets или согласованную структуру для дальнейшего импорта в нашу базу;
- реализация повторного запуска без дублирования записей;
- логика обновления данных: new / updated / unchanged;
- логирование запусков, ошибок и количества собранных/обновленных записей;
- краткая документация: как запустить скрипт, какие зависимости нужны, какие поля собираются, какой уникальный ключ используется.
Потребные навыки:
- Python или другой релевантный язык для scraping / data extraction;
- requests, BeautifulSoup, lxml, pandas;
- Selenium или Playwright для сайтов с JavaScript;
- работа с API, JSON, CSV, XLSX;
- базовое понимание SQL или подготовки данных для импорта в базу;
- Git / GitHub;
- умение работать с регулярным обновлением данных и deduplication / upsert-логикой;
- внимательность к структуре данных и стабильности скриптов.
Будет плюсом:
- опыт парсинга e-commerce сайтов, каталогов запчастей, OEM-каталогов или технической документации;
- опыт работы с Google Sheets API;
- опыт обработки PDF-кatalogов или таблиц;
- опыт настройки регулярного запуска скриптов;
- умение описывать ограничения источника и риски поддержки парсера.
Формат сотрудничества:
Планируем работать почасово. Для каждого нового сайта сначала нужно сделать короткое техническое исследование: проанализировать источник, понять способ получения данных, оценить сложность, риски и ориентировочное время реализации.
После этого согласуем объем работ и лимит часов на реализацию.
В ответе, пожалуйста, отправьте:
- примеры scraping / data extraction проектов;
- GitHub или примеры кода, если есть;
- вашу оптимальную почасовую ставку;
- какие инструменты обычно используете.
