Parser produktów do importu na Prom
Opis projektu:
Opracowałem skalowalny parser stron produktów, który zbiera dane o towarach z różnych stron e-commerce i przygotowuje je w formie odpowiedniej do importu na marketplace Prom (lub inne platformy).
Parser automatycznie wyciąga nazwę produktu, opis, cechy, kategorię, ceny, stany magazynowe, artykuł (SKU), kod kreskowy (GTIN/EAN), warianty (rozmiary/kolory), a także linki do plików multimedialnych — i formuje ważne eksporty (CSV/Excel/XML + archiwum ze zdjęciami) do szybkiego załadunku na Prom.
System zaprojektowany jest do masowych uruchomień: wsparcie wielu źródeł, niezawodność przy długotrwałych zbiorach, mechanizmy omijania ochrony antybotowej oraz wygodne narzędzia do mapowania pól zgodnie z wymaganiami marketplace'u.
Funkcjonalność:
Automatyczne zbieranie towarów według kategorii, zapytań wyszukiwania i list URL.
Zbieranie pełnego zestawu pól: nazwa, opis, marka, kategoria, cechy (atrybuty), ceny (detaliczne/hurtowe), dostępność/stany, artykuł (SKU), GTIN/EAN, linki do obrazów i galerii.
Zbieranie wariantów towaru (rozmiary, kolory) i formowanie oddzielnych pozycji lub kombinacji do importu.
Ładowanie i buforowanie obrazów; formowanie archiwum ZIP z przygotowanymi zdjęciami.
Mapowanie pól pod format importu Prom (CSV/XML) z możliwością dostosowywanych szablonów i reguł transformacji.
Walidacja eksportowego feedu: sprawdzenie obowiązkowych pól, poprawność cen i dostępności, raporty o błędach.
Rotacja proxy, zmiana User-Agent, timingi i semafory w celu minimalizacji ryzyka blokad.
Przetwarzanie dynamicznych stron przez Playwright/Selenium dla stron z renderowaniem JS.
Deduplikacja według artykułu/URL i inkrementalne aktualizacje w celu uniknięcia duplikacji towarów.
Harmonogram/kolejka do regularnej aktualizacji cen i stanów (cron / Celery).
Logi, metryki i szczegółowe raporty z uruchomienia (liczba przetworzonych towarów, błędy, pominięcia).
Opracowałem skalowalny parser stron produktów, który zbiera dane o towarach z różnych stron e-commerce i przygotowuje je w formie odpowiedniej do importu na marketplace Prom (lub inne platformy).
Parser automatycznie wyciąga nazwę produktu, opis, cechy, kategorię, ceny, stany magazynowe, artykuł (SKU), kod kreskowy (GTIN/EAN), warianty (rozmiary/kolory), a także linki do plików multimedialnych — i formuje ważne eksporty (CSV/Excel/XML + archiwum ze zdjęciami) do szybkiego załadunku na Prom.
System zaprojektowany jest do masowych uruchomień: wsparcie wielu źródeł, niezawodność przy długotrwałych zbiorach, mechanizmy omijania ochrony antybotowej oraz wygodne narzędzia do mapowania pól zgodnie z wymaganiami marketplace'u.
Funkcjonalność:
Automatyczne zbieranie towarów według kategorii, zapytań wyszukiwania i list URL.
Zbieranie pełnego zestawu pól: nazwa, opis, marka, kategoria, cechy (atrybuty), ceny (detaliczne/hurtowe), dostępność/stany, artykuł (SKU), GTIN/EAN, linki do obrazów i galerii.
Zbieranie wariantów towaru (rozmiary, kolory) i formowanie oddzielnych pozycji lub kombinacji do importu.
Ładowanie i buforowanie obrazów; formowanie archiwum ZIP z przygotowanymi zdjęciami.
Mapowanie pól pod format importu Prom (CSV/XML) z możliwością dostosowywanych szablonów i reguł transformacji.
Walidacja eksportowego feedu: sprawdzenie obowiązkowych pól, poprawność cen i dostępności, raporty o błędach.
Rotacja proxy, zmiana User-Agent, timingi i semafory w celu minimalizacji ryzyka blokad.
Przetwarzanie dynamicznych stron przez Playwright/Selenium dla stron z renderowaniem JS.
Deduplikacja według artykułu/URL i inkrementalne aktualizacje w celu uniknięcia duplikacji towarów.
Harmonogram/kolejka do regularnej aktualizacji cen i stanów (cron / Celery).
Logi, metryki i szczegółowe raporty z uruchomienia (liczba przetworzonych towarów, błędy, pominięcia).