Opracowanie parsera map oraz stworzenie aplikacji GUI

Zrealizowano z powodzeniem rozbudowany i technicznie skomplikowany projekt zbierania danych (Web Scraping) z interaktywnej mapy strony Urbexology oraz opracowania towarzyszącego oprogramowania. Co zostało zrealizowane: 1. Algorytm adaptacyjnego skanowania (Quadtree Bounding Box): Stworzono rekurencyjny algorytm przeszukiwania całej kuli ziemskiej, co pozwoliło na zebranie i deduplikację 597 306 unikalnych lokalizacji. 2. Deobfuskacja i inżynieria odwrotna: Pomyślnie odszyfrowano niestandardowy algorytm ochrony strony (XOR + przesunięcie Cezara), a także matematycznie odtworzono rzeczywiste współrzędne punktów za pomocą wzorów sinus/cosinus indeksu. 3. Wydajne wielowątkowe zbieranie szczegółów: Opracowano i zoptymalizowano silnik na 25 wątków (ThreadPoolExecutor) z bezpiecznymi opóźnieniami do zbierania dyskusji, komentarzy i zdjęć bez blokad. 4. Relacyjna baza danych: Wszystkie dane zostały uporządkowane, powiązane (Foreign Keys) i zapisane w zoptymalizowanym pliku SQLite (.db) z dostosowanymi indeksami do błyskawicznych zapytań. 5. Premium aplikacja GUI (EXE): Na bazie Tkinter stworzono natywną aplikację Windows w stylowym ciemnym designie (Premium Dark Mode) do automatycznego pobierania plików multimedialnych (65 818 zdjęć) na lokalny dysk. Aplikacja obsługuje Pauzę/Wznawianie, pełne Zatrzymanie z zachowaniem stanu, wybór limitów oraz szczegółowe logowanie w czasie rzeczywistym. Wyniki projektu: Zebrano unikalnych lokalizacji: 597 306 Znaleziono zdjęć: 65 818 Przetworzono dyskusji: 66 301 Narzędzia: Python, Tkinter, PyInstaller, SQLite, Wielowątkowość, OOP. #web_scraping #scraping #python #gui #sqlite #reverse_engineering #automation #multithreading #parser #crawler