Parser prom.ua
Parsowanie danych
Skrypt rozwiązuje problem przekształcenia zwykłego katalogu internetowego Prom.ua w ustrukturyzowane źródło danych, które nadaje się do automatyzacji i analizy.
Z technicznego punktu widzenia rozwiązuje problem braku publicznego pełnoprawnego API: zamiast niego używana jest kombinacja parsowania HTML i wewnętrznego zapytania GraphQL (`/graphql`), które strona sama stosuje do ładowania danych na stronie produktu.
Łączy dwa poziomy danych: statyczny HTML (lista produktów, podstawowe parametry) oraz dynamiczny GraphQL (dostawa, płatność, dostępność, regiony, logika biznesowa sprzedawcy). Eliminuję to fragmentację informacji, gdy część danych jest dostępna tylko w interfejsie, a część — tylko przez API.
Rozwiązuje również problem skalowania dostępu do danych: zamiast ręcznego otwierania stron realizowane jest automatyczne przeszukiwanie kategorii z paginacją i sekwencyjnym przetwarzaniem produktów.
Z inżynieryjnego punktu widzenia zapewnia normalizację i unifikację danych: różne formaty odpowiedzi (HTML + JSON GraphQL) są przekształcane do jednolitej struktury i zapisywane w pliku.
Dodatkowo pełni rolę narzędzia monitorującego: pozwala śledzić ceny, dostępność, warunki dostawy i zmiany u sprzedawców w trybie automatycznym.
W rezultacie to nie tylko parser, ale mini ETL-pipeline (extract → transform → load), który przekształca interfejs internetowy marketplace'u w bazę danych nadającą się do analizy i automatyzacji.
Z technicznego punktu widzenia rozwiązuje problem braku publicznego pełnoprawnego API: zamiast niego używana jest kombinacja parsowania HTML i wewnętrznego zapytania GraphQL (`/graphql`), które strona sama stosuje do ładowania danych na stronie produktu.
Łączy dwa poziomy danych: statyczny HTML (lista produktów, podstawowe parametry) oraz dynamiczny GraphQL (dostawa, płatność, dostępność, regiony, logika biznesowa sprzedawcy). Eliminuję to fragmentację informacji, gdy część danych jest dostępna tylko w interfejsie, a część — tylko przez API.
Rozwiązuje również problem skalowania dostępu do danych: zamiast ręcznego otwierania stron realizowane jest automatyczne przeszukiwanie kategorii z paginacją i sekwencyjnym przetwarzaniem produktów.
Z inżynieryjnego punktu widzenia zapewnia normalizację i unifikację danych: różne formaty odpowiedzi (HTML + JSON GraphQL) są przekształcane do jednolitej struktury i zapisywane w pliku.
Dodatkowo pełni rolę narzędzia monitorującego: pozwala śledzić ceny, dostępność, warunki dostawy i zmiany u sprzedawców w trybie automatycznym.
W rezultacie to nie tylko parser, ale mini ETL-pipeline (extract → transform → load), który przekształca interfejs internetowy marketplace'u w bazę danych nadającą się do analizy i automatyzacji.