Реалізував систему автоматизованого збору SEO-даних з Ahrefs UI без використання офіційного API. Рішення працює через керування реальним браузером та імітує поведінку користувача, що дозволяє стабільно отримувати дані з інтерфейсу сервісу навіть при наявності сучасних anti-bot механізмів.
Реалізований функціонал
- автоматизований логін в Ahrefs з підтримкою 2FA (email / TOTP)
- збір даних безпосередньо з Ahrefs UI після авторизації
- парсинг ключових SEO-метрик
- обхід Cloudflare та anti-bot механізмів
- стабільна обробка до ~10 000 доменів на день
- система контролю throughput, retry та rate-limit
- робота з авторизованими сесіями
- структуроване збереження отриманих SEO-даних
Рішення дозволяє стабільно отримувати SEO-дані з Ahrefs UI у великих обсягах та інтегрувати їх у власні аналітичні системи.
Реалізований функціонал
- автоматизований логін в Ahrefs з підтримкою 2FA (email / TOTP)
- збір даних безпосередньо з Ahrefs UI після авторизації
- парсинг ключових SEO-метрик
- обхід Cloudflare та anti-bot механізмів
- стабільна обробка до ~10 000 доменів на день
- система контролю throughput, retry та rate-limit
- робота з авторизованими сесіями
- структуроване збереження отриманих SEO-даних
Рішення дозволяє стабільно отримувати SEO-дані з Ahrefs UI у великих обсягах та інтегрувати їх у власні аналітичні системи.