Przemysłowy parser danych tenisowych Sofascore

#Parsowanie #Python #Automatyzacja #DataScience #Sofascore #Skraper

Stworzyłem modułową bibliotekę [zobacz zdjęcie 1] oraz zestaw skryptów w Pythonie do automatycznego zbierania danych o wszystkich meczach tenisowych i graczach ze strony Sofascore.

Funkcje:
Zbieranie całej historii i przyszłych meczów według zakresu dat (id, statystyki, punkty, kursy, siła graczy).
Parsowanie informacji o każdym graczu i jego rankingu.
Wbudowana ochrona antybotowa: automatyczna rotacja proxy, dynamiczny user-agent, cookies.
Wielowątkowość: konfigurowalna w ustawieniach, pozwala przyspieszyć zbieranie (16400 meczów/h [zobacz zdjęcie 2] i 42000 graczy/h [zobacz zdjęcie 3]).
Inteligentny system ponownych prób i automatyczne uzupełnianie brakujących danych (403, 429) [zobacz zdjęcie 4].
Cała konfiguracja — przez plik config.py (daty, proxy, wątki, opóźnienia).
Eksport: czyste pliki CSV, w pełni kompatybilne z pandas, gotowe do ML i analizy.
Logi, pasek postępu, ETA (pozostały czas), wyświetlanie prędkości na minutę/godzinę.
Szczegółowa dokumentacja w języku rosyjskim i angielskim, przykłady uruchomienia z kodu i konsoli.

Rezultat:
Projekt pomyślnie zrealizowany dla klienta, w pełni zautomatyzowany proces zbierania i aktualizacji danych, zapewnia wysoką prędkość i stabilność nawet przy dużych wolumenach.

Stack: Python 3.11+, curl_cffi, pandas, threading, proxy.