Zbudowałem ukryty i skalowalny parser X (Twitter), który zbiera dane w dużych ilościach bez narażania się na blokady. Przygotowania były poważne:
Kupiłem podgrzane konta z mobilnymi proxy. Stworzyłem izolowane profile przeglądarki z podmienionymi odciskami — stos TCP, jądro przeglądarki, canvas i inne — za pomocą Camoufox i Dolphin Anty. Wbudowałem rozwiązania do rozwiązywania captcha, wykrywania blokad i symulacji rzeczywistego zachowania użytkownika.
API do parsowania zbudowane na FastAPI z kolejkami przez Celery — obsługuje zarówno zapytania wsadowe, jak i punktowe. Architektura jest elastyczna, skalowalna bez przeróbek.
Stos technologiczny: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing
Kupiłem podgrzane konta z mobilnymi proxy. Stworzyłem izolowane profile przeglądarki z podmienionymi odciskami — stos TCP, jądro przeglądarki, canvas i inne — za pomocą Camoufox i Dolphin Anty. Wbudowałem rozwiązania do rozwiązywania captcha, wykrywania blokad i symulacji rzeczywistego zachowania użytkownika.
API do parsowania zbudowane na FastAPI z kolejkami przez Celery — obsługuje zarówno zapytania wsadowe, jak i punktowe. Architektura jest elastyczna, skalowalna bez przeróbek.
Stos technologiczny: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing