Amazon parser - skryper, Parser produktów!

Techniczne zadanie na opracowanie parsera (skrapera) Amazon

Zadanie: Należy opracować niezawodny i odporny na błędy skraper do pozyskiwania informacji z Amazon o dużej liczbie produktów (miliony ASIN). Skraper powinien stabilnie działać w trybie 24/7 i minimalizować występowanie błędów HTTP 503 (blokada lub ograniczenie dostępu).

Wymagania obowiązkowe:

1. Parsowanie danych:

   • Pozyskiwanie informacji o produktach: nazwa, cena, ocena, liczba recenzji, dostępność w magazynie, opis produktu, zdjęcia i inne informacje ze strony produktu według podanej listy ASIN.
   • Wsparcie dla dużej liczby zapytań (od 100 000 do kilku milionów produktów).

2. Stabilność i skalowalność:

   • System powinien działać przez całą dobę (24/7), bez regularnych przerw i potrzeby ręcznego ponownego uruchamiania.
   • Przewidzieć mechanizmy równoważenia zapytań, wykorzystanie serwerów proxy, zmiany adresów IP oraz mechanizmy opóźnienia zapytań w celu minimalizacji ryzyka blokad i błędów HTTP 503.

3. Obchodzenie zabezpieczeń i ograniczeń Amazon:

   • Przewidzieć metody obchodzenia ochrony antybotowej Amazon (CAPTCHA, blokada po IP, ograniczenia po User-Agent itp.).
   • Wykorzystanie mechanizmów automatycznego rozpoznawania i rozwiązywania CAPTCHA (na przykład za pomocą usług antycaptcha).

4. Zarządzanie proxy:

   • System powinien integrować wykorzystanie serwerów proxy z możliwością automatycznej rotacji i monitorowania ich sprawności.
   • Skonfigurować monitorowanie jakości proxy, wykluczenie zablokowanych i wolnych IP.

5. Zarządzanie błędami i logowanie:

   • Wdrożyć logowanie wszystkich działań skrapera: udane zapytania, błędy, blokady i czas odpowiedzi.
   • Wdrożyć system automatycznego powtarzania zapytań w przypadku błędów, z konfigurowalną liczbą powtórzeń i interwałem między nimi.

6. Format i przechowywanie danych:

   • Możliwość eksportu danych w wygodnych formatach (CSV, JSON, bazy danych).
   • Realizacja szybkiej i efektywnej struktury przechowywania pozyskanych danych.

7. Interfejs zarządzania (opcjonalnie):

   • Możliwość wygodnego zarządzania zadaniami, przeglądania statystyk i stanu pracy skrapera przez interfejs webowy lub API.

Wymagania wobec wykonawcy:

• Doświadczenie w pracy z web scrapingiem z Amazon.
• Znajomość technologii i narzędzi do obchodzenia zabezpieczeń (proxy, antycaptcha).
• Doświadczenie w pracy z dużymi zbiorami danych i asynchronicznymi zapytaniami.

Oczekiwany rezultat: Działające, stabilne i skalowalne narzędzie, zdolne do całodobowego wykonywania zadań związanych z parsowaniem dużej ilości danych z Amazon, minimalizując prawdopodobieństwo blokad i błędów.