Парсер для https://www.sahibinden.com

Реализовал парсер объявлений для сайта https://www.sahibinden.com
Ссылка на видео работы бота: https://photos.app.goo.gl/yUsjtdKWBC3QHtdQ6
Бот полностью имитирует пользователя: реализована периодическая смена user-agent, а также периодическая смена аккаунта с помощью сохраненного профиля. На сайте часто требуется подтверждение двухфакторной аутентификации, обход которого реализован путем получения письма с Gmail через API Google.

Реализован обход антибот-защиты под названием PerimeterX.

PerimeterX — это система защиты сайтов от ботов и подозрительной активности, которая анализирует поведение пользователя в реальном времени и определяет, является ли это человеком или автоматическим скриптом. Она собирает много сигналов: IP-адрес, отпечаток браузера (user-agent, плагины, настройки), наличие и работу JavaScript, а также поведенческие факторы — движения мыши, клики, скорость навигации страницами. На основе этих данных алгоритмы формируют “профиль” запроса и сравнивают его с типичным поведением человека; если активность кажется подозрительной (например, слишком быстрые действия, использование прокси или headless-браузеров), система может ограничить доступ, показать капчу или полностью заблокировать пользователя.