Sytuacja:
Zamawiający potrzebuje narzędzia do automatycznego zbierania informacji z internetowego sklepu: nazwa, zdjęcie, cena, opis, stany, kategoria.
Co zrobiłem:
napisałem parser, który przeszukuje cały katalog
automatyczne ładowanie zdjęć
uzyskałem cenę, specyfikacje, dostępność, SKU
przetwarzanie paginacji i złożonych struktur HTML
obejście ochrony antybotowej (czasy, nagłówki, dynamiczne opóźnienia)
wyeksportowałem dane do PostgreSQL i Google Sheets
zrealizowałem harmonogram uruchomień przez cron + raporty
Wynik:
klient automatycznie aktualizuje ceny i produkty bez ludzi
oszczędność ~60 godzin pracy miesięcznie
możliwość importowania danych na swoją stronę/CRM
stabilna praca parsera 24/7
Technologie:
Python, Selenium, BeautifulSoup, lxml, Asyncio, PostgreSQL, GSheets API.
Zamawiający potrzebuje narzędzia do automatycznego zbierania informacji z internetowego sklepu: nazwa, zdjęcie, cena, opis, stany, kategoria.
Co zrobiłem:
napisałem parser, który przeszukuje cały katalog
automatyczne ładowanie zdjęć
uzyskałem cenę, specyfikacje, dostępność, SKU
przetwarzanie paginacji i złożonych struktur HTML
obejście ochrony antybotowej (czasy, nagłówki, dynamiczne opóźnienia)
wyeksportowałem dane do PostgreSQL i Google Sheets
zrealizowałem harmonogram uruchomień przez cron + raporty
Wynik:
klient automatycznie aktualizuje ceny i produkty bez ludzi
oszczędność ~60 godzin pracy miesięcznie
możliwość importowania danych na swoją stronę/CRM
stabilna praca parsera 24/7
Technologie:
Python, Selenium, BeautifulSoup, lxml, Asyncio, PostgreSQL, GSheets API.