Автоматизация браузера / Веб-скрейпинг для интерфейса Ahrefs
Необходимо реализовать стабильное автоматизированное извлечение данных из Ahrefs UI без использования Ahrefs API, через управление реальным браузером.
Необходимо получать SEO-данные, доступные в интерфейсе Ahrefs после авторизации, в частности:
- анкоры (anchors)
- беклинки (backlinks)
- referring pages
- и другие связанные линковые данные
Решение должно стабильно работать при высоком нагрузке (до ~10 000 доменов в день) и поддерживать параллельную обработку (concurrency) без блокировок и банов.
🛠 Общие требования
- Автоматизация реального браузера (headless или headful)
- Устойчивая работа с Cloudflare / anti-bot защитой
- Работа с авторизованными сессиями
- Возможность автоматизации логина и 2FA (email или TOTP)
- Запуск в Docker-контейнере
- Поддержка concurrency и контролируемого throughput
- Чистый, поддерживаемый код (Python или Node.js)
🎯 Критерии отбора
Предпочтение отдается кандидатам, которые уже имеют рабочие решения или подтвержденный опыт работы с Ahrefs UI или подобными защищенными сервисами.
Наличие PoC, демо или продакшн-опыта будет большим плюсом. После подтверждения релевантного опыта готовы предоставить полное ТЗ и рассмотреть долгосрочное сотрудничество.
📩 От вас в отзыве желательно указать:
- Опыт работы с Ahrefs UI или аналогичными платформами
- Использованные инструменты и подходы (Playwright, Puppeteer, CDP, stealth и т.д.)
- Наличие демо, PoC или примеров кода
- Опыт работы с высоким нагрузкой и concurrency
- Опыт автоматизации логина и 2FA
-
Технически реализуемо, но есть серьёзные красные флаги.
10,000 доменов/день — это огромный объём. Понадобится минимум 5-10 аккаунтов Ahrefs для ротации, каждый стоит $99-999/мес. Баны аккаунтов - вопрос времени, не "если", а "когда".
По защите: Ahrefs использует Cloudflare Enterprise, fingerprinting браузера, поведенческий анализ. При таких объёмах детектят быстро.
Поддержка будет постоянной — Ahrefs регулярно обновляет защиту. То что работает сегодня, может сломаться через неделю. Это не "сделал и забыл".
Юридически - прямое нарушение ToS Ahrefs. При таких объёмах уж тем более.
По экономике: разработка + аккаунты + поддержка + риск банов — скорее всего выйдет дороже чем официальный API.
-
Доброго дня. Готовий виконати вчасно.
-
Актуальные фриланс-проекты в категории Веб-программирование
Коммерческая on-premise платформа видеосвязи «ViM»Требуется разработать on-premise систему видеосвязи с базовым расчетом на 100 одновременных подключений (10 изолированных комнат по 10 человек). Платформа должна иметь заложенную архитектуру для будущего горизонтального масштабирования до 1000 пользователей путем добавления… Javascript и Typescript, Веб-программирование ∙ 2 часа 16 минут назад ∙ 17 ставок |
Нужно сверстать сайт с PDF, возможно?Дизайн уже полностью нарисован, но есть только PDF, так как был утерян Figma... Возможны расхождения по нему. Это допустимо. Нужно ли рисовать его в Figma? Или, возможно, сверстать и поставить на CMS, и вопрос сразу на какую? Далее работы будет много. Нужно начать с этого. Моб… HTML и CSS верстка, Веб-программирование ∙ 3 часа 57 минут назад ∙ 79 ставок |
Разработка системы автоматизации публикации вакансий в Facebook-группах для кадрового агентстваИщу специалиста для создания и дальнейшего сопровождения системы публикации вакансий в Facebook-группах.О компании:Мы являемся кадровым агентством в Израиле и занимаемся подбором персонала для предприятий, заводов, складов, производственных компаний и других работодателей по… Веб-программирование, Разработка ботов ∙ 16 часов 25 минут назад ∙ 32 ставки |
Верстальщик для multi-page advertorial сайта (Health Media) — вайб-кодинг, чистый код
6727 UAH
Нужно создать многостраничный сайт в стиле health media, по образцу healthinsider.news. Не просто лендинг — полноценный псевдо-редакционный сайт (advertorial), под который будет литься трафик с Meta Ads. ВАЖНО: задача делается через вайб-кодинг (AI-assisted coding / vibe… HTML и CSS верстка, Веб-программирование ∙ 19 часов 8 минут назад ∙ 54 ставки |
Необходимо сделать редизайн вебсайта и разработать функционал личного кабинета оптового покупателяТехническое заданиеПроектРедизайн корпоративного вебсайта и разработка личного кабинета оптового покупателя, направление - детская одежда.Цель проектаСоздать современную цифровую платформу для B2B и B2C клиентов компании с акцентом на улучшение пользовательского опыта, повышение… Веб-программирование ∙ 22 часа 12 минут назад ∙ 44 ставки |