Реализовал систему автоматизированного сбора SEO-данных из Ahrefs UI без использования официального API. Решение работает через управление реальным браузером и имитирует поведение пользователя, что позволяет стабильно получать данные из интерфейса сервиса даже при наличии современных anti-bot механизмов.
Реализованный функционал
- автоматизированный логин в Ahrefs с поддержкой 2FA (email / TOTP)
- сбор данных непосредственно из Ahrefs UI после авторизации
- парсинг ключевых SEO-метрик
- обход Cloudflare и anti-bot механизмов
- стабильная обработка до ~10 000 доменов в день
- система контроля throughput, retry и rate-limit
- работа с авторизованными сессиями
- структурированное сохранение полученных SEO-данных
Решение позволяет стабильно получать SEO-данные из Ahrefs UI в больших объемах и интегрировать их в собственные аналитические системы.
Реализованный функционал
- автоматизированный логин в Ahrefs с поддержкой 2FA (email / TOTP)
- сбор данных непосредственно из Ahrefs UI после авторизации
- парсинг ключевых SEO-метрик
- обход Cloudflare и anti-bot механизмов
- стабильная обработка до ~10 000 доменов в день
- система контроля throughput, retry и rate-limit
- работа с авторизованными сессиями
- структурированное сохранение полученных SEO-данных
Решение позволяет стабильно получать SEO-данные из Ahrefs UI в больших объемах и интегрировать их в собственные аналитические системы.