Parser podpisujących elektroniczne petycje ze strony petition.presiden
Ten parser automatyzuje zbieranie informacji o podpisujących elektroniczne petycje ze strony oficjalnej Prezydenta Ukrainy. Przyjmuje link do konkretnej petycji i kolejno zbiera dane ze wszystkich stron podpisów, w tym imię, nazwisko oraz datę podpisu każdego użytkownika.
Parser działa w dwóch etapach: najpierw ładuje i analizuje statyczny HTML pierwszej strony petycji, na której wyświetlona jest część podpisujących, a następnie dynamicznie pobiera dodatkowe strony za pomocą zapytań AJAX do API w formacie JSON. Uzyskane dane są przetwarzane i zapisywane w formacie Excel (.xlsx) z stopniowym aktualizowaniem pliku po każdej stronie, co zapewnia niezawodność działania nawet w przypadku przerwania procesu.
Użyte technologie: Python, biblioteki requests (zapytania HTTP), BeautifulSoup (analiza HTML), openpyxl (obsługa Excela), wyrażenia regularne (wydobycie ID petycji), a także podstawowe mechanizmy obsługi JSON. Parser jest zaprojektowany do stabilnej pracy z dużymi ilościami danych i uwzględnia cechy dynamicznego ładowania treści.
Parser działa w dwóch etapach: najpierw ładuje i analizuje statyczny HTML pierwszej strony petycji, na której wyświetlona jest część podpisujących, a następnie dynamicznie pobiera dodatkowe strony za pomocą zapytań AJAX do API w formacie JSON. Uzyskane dane są przetwarzane i zapisywane w formacie Excel (.xlsx) z stopniowym aktualizowaniem pliku po każdej stronie, co zapewnia niezawodność działania nawet w przypadku przerwania procesu.
Użyte technologie: Python, biblioteki requests (zapytania HTTP), BeautifulSoup (analiza HTML), openpyxl (obsługa Excela), wyrażenia regularne (wydobycie ID petycji), a także podstawowe mechanizmy obsługi JSON. Parser jest zaprojektowany do stabilnej pracy z dużymi ilościami danych i uwzględnia cechy dynamicznego ładowania treści.