Парсер для https://www.sahibinden.com

Реалізував парсер оголошень для сайту https://www.sahibinden.com
Посилання на відео роботи бота: https://photos.app.goo.gl/yUsjtdKWBC3QHtdQ6
Бот повністю імітує користувача: реалізовано періодичну зміну user-agent, а також періодичну зміну акаунта за допомогою збереженого профілю. На сайті часто вимагається підтвердження двофакторної автентифікації, обхід якої реалізовано шляхом отримання листа з Gmail через API Google.

Реалізовано обхід антибот-захисту під назвою PerimeterX.

PerimeterX — це система захисту сайтів від ботів і підозрілої активності, яка аналізує поведінку користувача в реальному часі та визначає, чи це людина, чи автоматичний скрипт. Вона збирає багато сигналів: IP-адресу, відбиток браузера (user-agent, плагіни, налаштування), наявність і роботу JavaScript, а також поведінкові фактори — рухи миші, кліки, швидкість навігації сторінками. На основі цих даних алгоритми формують “профіль” запиту та порівнюють його з типовою поведінкою людини; якщо активність здається підозрілою (наприклад, надто швидкі дії, використання проксі або headless-браузерів), система може обмежити доступ, показати капчу або повністю заблокувати користувача.