Prom parser
Projekt: PromParser
Funkcjonalność: Skrypt przyjmuje link do katalogu sprzedawcy i automatycznie przechodzi przez wszystkie strony paginacji (od pierwszej do ostatniej), zbierając pełne informacje o każdej pozycji towarowej.
Etapy pracy skryptu:
1. Zbieranie linków (Playwright + Proxy): Automatyzacja przeglądarki imituje działania prawdziwego użytkownika, przechodzi po stronach katalogu i zbiera linki do wszystkich kart produktów. Użycie proxy pozwala uniknąć blokad.
2. Asynchroniczne ładowanie (Aiohttp + Proxy): Skrypt natychmiastowo wykonuje równoległe zapytania do każdej zebranej karty produktu. Zapewnia to maksymalną prędkość działania w porównaniu do zwykłych parserów przeglądarkowych.
3. Strukturyzacja danych (BeautifulSoup4): Wydobywanie z kodu HTML konkretnych cech: nazwa, bezpośredni link, cena oraz krytyczny wskaźnik — liczba sprzedaży.
4. Eksport do raportu (Excel / Openpyxl): Dane są przechowywane w arkuszu Excel z profesjonalnym formatowaniem: automatycznym doborem szerokości kolumn, pogrubionymi nagłówkami i aktywnymi linkami dla wygodnej pracy zamawiającego.
Funkcjonalność: Skrypt przyjmuje link do katalogu sprzedawcy i automatycznie przechodzi przez wszystkie strony paginacji (od pierwszej do ostatniej), zbierając pełne informacje o każdej pozycji towarowej.
Etapy pracy skryptu:
1. Zbieranie linków (Playwright + Proxy): Automatyzacja przeglądarki imituje działania prawdziwego użytkownika, przechodzi po stronach katalogu i zbiera linki do wszystkich kart produktów. Użycie proxy pozwala uniknąć blokad.
2. Asynchroniczne ładowanie (Aiohttp + Proxy): Skrypt natychmiastowo wykonuje równoległe zapytania do każdej zebranej karty produktu. Zapewnia to maksymalną prędkość działania w porównaniu do zwykłych parserów przeglądarkowych.
3. Strukturyzacja danych (BeautifulSoup4): Wydobywanie z kodu HTML konkretnych cech: nazwa, bezpośredni link, cena oraz krytyczny wskaźnik — liczba sprzedaży.
4. Eksport do raportu (Excel / Openpyxl): Dane są przechowywane w arkuszu Excel z profesjonalnym formatowaniem: automatycznym doborem szerokości kolumn, pogrubionymi nagłówkami i aktywnymi linkami dla wygodnej pracy zamawiającego.