Розробка парсера карт та створення GUI додатка

Успішно реалізовано масштабний та технічно складний проект зі збору даних (Web Scraping) з інтерактивної карти сайту Urbexology та розробки супутнього програмного забезпечення.
Що було реалізовано:
1. Алгоритм адаптивного сканування (Quadtree Bounding Box): Створено рекурсивний алгоритм обходу всієї земної кулі, що дозволило зібрати та дедуплікувати 597 306 унікальних локацій.
2. Деобфускація та реверс-інжиніринг: Успішно розшифровано кастомний алгоритм захисту сайту (XOR + Caesar ссув), а також математично відновлено реальні координати точок за формулами синусу/косинусу індексу.
3. Високопродуктивний багатопоточний збір деталей: Розроблено та оптимізовано рушій на 25 потоків (ThreadPoolExecutor) із безпечними затримками для збору обговорень, коментарів та фото без блокувань.
4. Реляційна база даних: Усі дані структуровано, зв'язано (Foreign Keys) та збережено в оптимізований файл SQLite (.db) із налаштованими індексами для миттєвих пошукових запитів.
5. Преміальний GUI-додаток (EXE): На базі Tkinter розроблено нативний Windows-додаток у стильному темному дизайні (Premium Dark Mode) для автоматичного скачування медіафайлів (65 818 фото) на локальний диск. Додаток підтримує Паузу/Продовження, повну Зупинку зі збереженням стану, вибір лімітів та детальне логування в реальному часі.
Результати проекту:
Зібрано унікальних локацій: 597 306
Знайдено фотографій: 65 818
Оброблено обговорень: 66 301
Інструменти: Python, Tkinter, PyInstaller, SQLite, Multithreading, OOP.
#web_scraping #scraping #python #gui #sqlite #reverse_engineering #automation #multithreading #parser #crawler