Побудував прихований і масштабований парсер X (Twitter), який збирає дані у великих обсягах без потрапляння під блокування. Підготовка була серйозна:
Купив прогріті акаунти з мобільними проксі. Створив ізольовані браузерні профілі з підміненими відбитками — TCP-стек, браузерне ядро, canvas та інше — через Camoufox і Dolphin Anty. Вбудував розв'язання капч, виявлення блокувань і симуляцію реальної поведінки користувача.
API для парсингу зібраний на FastAPI з чергами через Celery — підтримує і пакетні, і точкові запити. Архітектура гнучка, масштабується без переробки.
Технологічний стек: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing
Купив прогріті акаунти з мобільними проксі. Створив ізольовані браузерні профілі з підміненими відбитками — TCP-стек, браузерне ядро, canvas та інше — через Camoufox і Dolphin Anty. Вбудував розв'язання капч, виявлення блокувань і симуляцію реальної поведінки користувача.
API для парсингу зібраний на FastAPI з чергами через Celery — підтримує і пакетні, і точкові запити. Архітектура гнучка, масштабується без переробки.
Технологічний стек: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing