Parser profili Instagram
Opis projektu:
Opracowałem wysokowydajny parser profili Instagram, który zebrał ponad 15 000 profili do analizy i zadań biznesowych.
Parser automatycznie przeszukiwał listę użytkowników, wyciągał publiczne informacje — imię, opis profilu (bio), liczbę obserwujących/obserwowanych, linki do zewnętrznych zasobów (strona, kontakty), listę otwartych postów oraz metadane — i zapisywał wyniki w wygodnym formacie do dalszego przetwarzania (CSV/SQLite/Excel).
Projekt został zaplanowany z uwzględnieniem realiów masowego zbierania danych: przetwarzanie dużych kolejek, odporność na tymczasowe blokady, staranne zarządzanie czasem oraz poszanowanie ograniczeń platformy.
Funkcjonalność:
Masowe zbieranie danych z profili Instagram (ponad 15 000 profili).
Wyciąg: imię, nick, biografia, liczba obserwujących/obserwowanych, liczba postów, link w profilu, dane kontaktowe (jeśli dostępne).
Wsparcie zarówno dla profili publicznych, jak i częściowo prywatnych (w ramach dozwolonych).
Rotacja User-Agent i proxy w celu zmniejszenia ryzyka blokad.
Asynchroniczne przetwarzanie zadań z semaforami — kontrola równoległości dla stabilności.
Ponowne próby i szczegółowe logowanie błędów (timeout, captchas, 429).
Zapis wyników w CSV/SQLite/Excel, deduplikacja i walidacja danych.
Możliwość filtrowania i wstępnego przetwarzania (na przykład, selekcja kont według liczby obserwujących lub języka bio).
Opracowałem wysokowydajny parser profili Instagram, który zebrał ponad 15 000 profili do analizy i zadań biznesowych.
Parser automatycznie przeszukiwał listę użytkowników, wyciągał publiczne informacje — imię, opis profilu (bio), liczbę obserwujących/obserwowanych, linki do zewnętrznych zasobów (strona, kontakty), listę otwartych postów oraz metadane — i zapisywał wyniki w wygodnym formacie do dalszego przetwarzania (CSV/SQLite/Excel).
Projekt został zaplanowany z uwzględnieniem realiów masowego zbierania danych: przetwarzanie dużych kolejek, odporność na tymczasowe blokady, staranne zarządzanie czasem oraz poszanowanie ograniczeń platformy.
Funkcjonalność:
Masowe zbieranie danych z profili Instagram (ponad 15 000 profili).
Wyciąg: imię, nick, biografia, liczba obserwujących/obserwowanych, liczba postów, link w profilu, dane kontaktowe (jeśli dostępne).
Wsparcie zarówno dla profili publicznych, jak i częściowo prywatnych (w ramach dozwolonych).
Rotacja User-Agent i proxy w celu zmniejszenia ryzyka blokad.
Asynchroniczne przetwarzanie zadań z semaforami — kontrola równoległości dla stabilności.
Ponowne próby i szczegółowe logowanie błędów (timeout, captchas, 429).
Zapis wyników w CSV/SQLite/Excel, deduplikacja i walidacja danych.
Możliwość filtrowania i wstępnego przetwarzania (na przykład, selekcja kont według liczby obserwujących lub języka bio).