Amazon parser - skryper, Parser produktów!

Techniczne zadanie na opracowanie parsera (skrapera) Amazon

Zadanie: Należy opracować niezawodny i odporny na błędy skraper do pozyskiwania informacji z Amazon o dużej liczbie produktów (miliony ASIN). Skraper powinien stabilnie działać w trybie 24/7 i minimalizować występowanie błędów HTTP 503 (blokada lub ograniczenie dostępu).

Wymagania obowiązkowe:

1. Parsowanie danych:

   • Pozyskiwanie informacji o produktach: nazwa, cena, ocena, liczba recenzji, dostępność w magazynie, opis produktu, zdjęcia i inne informacje ze strony produktu według podanej listy ASIN.
   • Wsparcie dla dużej liczby zapytań (od 100 000 do kilku milionów produktów).

2. Stabilność i skalowalność:

   • System powinien działać przez całą dobę (24/7), bez regularnych przerw i potrzeby ręcznego ponownego uruchamiania.
   • Przewidzieć mechanizmy równoważenia zapytań, wykorzystanie serwerów proxy, zmiany adresów IP oraz mechanizmy opóźnienia zapytań w celu minimalizacji ryzyka blokad i błędów HTTP 503.

3. Obchodzenie zabezpieczeń i ograniczeń Amazon:

   • Przewidzieć metody obchodzenia ochrony antybotowej Amazon (CAPTCHA, blokada po IP, ograniczenia po User-Agent itp.).
   • Wykorzystanie mechanizmów automatycznego rozpoznawania i rozwiązywania CAPTCHA (na przykład za pomocą usług antycaptcha).

4. Zarządzanie proxy:

   • System powinien integrować wykorzystanie serwerów proxy z możliwością automatycznej rotacji i monitorowania ich sprawności.
   • Skonfigurować monitorowanie jakości proxy, wykluczenie zablokowanych i wolnych IP.

5. Zarządzanie błędami i logowanie:

   • Wdrożyć logowanie wszystkich działań skrapera: udane zapytania, błędy, blokady i czas odpowiedzi.
   • Wdrożyć system automatycznego powtarzania zapytań w przypadku błędów, z konfigurowalną liczbą powtórzeń i interwałem między nimi.

6. Format i przechowywanie danych:

   • Możliwość eksportu danych w wygodnych formatach (CSV, JSON, bazy danych).
   • Realizacja szybkiej i efektywnej struktury przechowywania pozyskanych danych.

7. Interfejs zarządzania (opcjonalnie):

   • Możliwość wygodnego zarządzania zadaniami, przeglądania statystyk i stanu pracy skrapera przez interfejs webowy lub API.

Wymagania wobec wykonawcy:

• Doświadczenie w pracy z web scrapingiem z Amazon.
• Znajomość technologii i narzędzi do obchodzenia zabezpieczeń (proxy, antycaptcha).
• Doświadczenie w pracy z dużymi zbiorami danych i asynchronicznymi zapytaniami.

Oczekiwany rezultat: Działające, stabilne i skalowalne narzędzie, zdolne do całodobowego wykonywania zadań związanych z parsowaniem dużej ilości danych z Amazon, minimalizując prawdopodobieństwo blokad i błędów.

Техническое задание на разработку парсера (скрапера) Amazon

Задача: Необходимо разработать надежный и отказоустойчивый скрапер для получения информации с Amazon по большому количеству товаров (миллионы ASIN). Скрапер должен стабильно работать в режиме 24/7 и минимизировать возникновение ошибок HTTP 503 (блокировка или ограничение доступа).

Обязательные требования:

1. Парсинг данных:

   • Получение информации по товарам: название, цена, рейтинг, количество отзывов, наличие на складе, описание товара, изображения и другую информацию со страницы товара по заданному списку ASIN.
   • Поддержка большого объема запросов (от 100,000 до нескольких миллионов товаров).

2. Стабильность и масштабируемость:

   • Система должна работать круглосуточно (24/7), без регулярных остановок и необходимости ручного перезапуска.
   • Предусмотреть механизмы балансировки запросов, использование прокси-серверов, смены IP-адресов, а также механизмов задержки запросов для минимизации риска блокировок и ошибок HTTP 503.

3. Обход защиты и ограничений Amazon:

   • Предусмотреть методы обхода антибот-защиты Amazon (CAPTCHA, блокировка по IP, ограничения по User-Agent и пр.).
   • Использование механизмов автоматического распознавания и решения CAPTCHA (например, с помощью сервисов антикапчи).

4. Управление прокси:

   • Система должна интегрировать использование прокси-серверов с возможностью автоматической ротации и мониторинга их работоспособности.
   • Настроить мониторинг качества прокси, исключение заблокированных и медленных IP.

5. Управление ошибками и логирование:

   • Реализовать логирование всех действий скрапера: успешные запросы, ошибки, блокировки и время ответа.
   • Реализовать систему автоматического повтора запросов в случае ошибок, с настраиваемым количеством повторов и интервалом между ними.

6. Формат и хранение данных:

   • Возможность выгрузки данных в удобные форматы (CSV, JSON, базы данных).
   • Реализация быстрой и эффективной структуры хранения полученных данных.

7. Интерфейс управления (опционально):

   • Возможность удобного управления задачами, просмотра статистики и состояния работы скрапера через веб-интерфейс или API.

Требования к исполнителю:

• Опыт работы с веб-скрапингом с Amazon.
• Знание технологий и инструментов обхода защиты (proxy, антикапча).
• Опыт работы с большими объемами данных и асинхронными запросами.

Ожидаемый результат: Рабочий, стабильный и масштабируемый инструмент, способный круглосуточно выполнять задачи по парсингу большого количества данных с Amazon, минимизируя вероятность блокировок и ошибок.