Amazon парсер - скрапер, Парсер товаров!

Техническое задание на разработку парсера (скрапера) Amazon

Задача: Необходимо разработать надежный и отказоустойчивый скрапер для получения информации с Amazon по большому количеству товаров (миллионы ASIN). Скрапер должен стабильно работать в режиме 24/7 и минимизировать возникновение ошибок HTTP 503 (блокировка или ограничение доступа).

Обязательные требования:

1. Парсинг данных:

   • Получение информации по товарам: название, цена, рейтинг, количество отзывов, наличие на складе, описание товара, изображения и другую информацию со страницы товара по заданному списку ASIN.
   • Поддержка большого объема запросов (от 100,000 до нескольких миллионов товаров).

2. Стабильность и масштабируемость:

   • Система должна работать круглосуточно (24/7), без регулярных остановок и необходимости ручного перезапуска.
   • Предусмотреть механизмы балансировки запросов, использование прокси-серверов, смены IP-адресов, а также механизмов задержки запросов для минимизации риска блокировок и ошибок HTTP 503.

3. Обход защиты и ограничений Amazon:

   • Предусмотреть методы обхода антибот-защиты Amazon (CAPTCHA, блокировка по IP, ограничения по User-Agent и пр.).
   • Использование механизмов автоматического распознавания и решения CAPTCHA (например, с помощью сервисов антикапчи).

4. Управление прокси:

   • Система должна интегрировать использование прокси-серверов с возможностью автоматической ротации и мониторинга их работоспособности.
   • Настроить мониторинг качества прокси, исключение заблокированных и медленных IP.

5. Управление ошибками и логирование:

   • Реализовать логирование всех действий скрапера: успешные запросы, ошибки, блокировки и время ответа.
   • Реализовать систему автоматического повтора запросов в случае ошибок, с настраиваемым количеством повторов и интервалом между ними.

6. Формат и хранение данных:

   • Возможность выгрузки данных в удобные форматы (CSV, JSON, базы данных).
   • Реализация быстрой и эффективной структуры хранения полученных данных.

7. Интерфейс управления (опционально):

   • Возможность удобного управления задачами, просмотра статистики и состояния работы скрапера через веб-интерфейс или API.

Требования к исполнителю:

• Опыт работы с веб-скрапингом с Amazon.
• Знание технологий и инструментов обхода защиты (proxy, антикапча).
• Опыт работы с большими объемами данных и асинхронными запросами.

Ожидаемый результат: Рабочий, стабильный и масштабируемый инструмент, способный круглосуточно выполнять задачи по парсингу большого количества данных с Amazon, минимизируя вероятность блокировок и ошибок.