Построил скрытную и масштабируемую систему парсинга X (Twitter), которая собирает данные в больших объёмах, не попадая под блокировки. Подготовка была довольно серьёзная:
Купил прогретые аккаунты с мобильными прокси. Создал изолированные браузерные профили с подменёнными отпечатками — TCP-стек, браузерное ядро, canvas и прочее — через Camoufox и Dolphin Anty. Встроил решение капч, обнаружение блокировок и симуляцию реального поведения пользователя.
API для парсинга собран на FastAPI с очередями через Celery — поддерживает и батчевые, и точечные запросы. Архитектура гибкая, масштабируется без переделок.
Технологический стек: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing
Купил прогретые аккаунты с мобильными прокси. Создал изолированные браузерные профили с подменёнными отпечатками — TCP-стек, браузерное ядро, canvas и прочее — через Camoufox и Dolphin Anty. Встроил решение капч, обнаружение блокировок и симуляцию реального поведения пользователя.
API для парсинга собран на FastAPI с очередями через Celery — поддерживает и батчевые, и точечные запросы. Архитектура гибкая, масштабируется без переделок.
Технологический стек: Python, FastAPI, Celery, Camoufox, Dolphin Anty, Mobile Proxies
#webscraping #twitterscraper #datamining #python #fastapi #antidetect #automation #parsing