Парсинг данных с проходом защиты Cloudflare
Нюанс в том, что нужно брать информацию не напрямую с страницы, а с json, который загружается в ответ на запрос, в процессе загрузки страницы.
Плюс нужно, чтобы все это работало на Selenium под Chrome драйвером и при этом драйвер не должен определяться как автоматизированное ПЗ, то есть спокойно пройти проверку Клаудфлеп. Для тестирования мы можем использовать страницу https://nowsecure.nl
Можно использовать undetected-chromedriver.
Конкретный запрос, по которому должны загружаться целевые данные, прикрепляю экраном.
Также, как дополнительное просьба, нужно написать этот код максимально доступным для понимания.
Задача войти на страницу и в процессе ее загрузки получить необходимый json. Плюсом к всему должен идти возможность не детектироваться Клайдфлепом, в случае если такая защита будут вмыкаться на сайте.
Не потрібно пропонувати інші варіанти, по типу окремих запитів через request.
Задача зайти на сторінку і в процесі її завантаження отримати необхідний json. Плюсом до всього має йти можливість не детектуватися Клayдфлepoм, в разі якщо такий захист будуть вмикати на сайті.
Приложения 1
Отзыв заказчика о сотрудничестве с Николаем Б.
Парсинг данных с проходом защиты CloudflareНайти подходящий вариант решения проблемы не удалось, скорее всего его и не существует.
Но при этом работой исполнитель полностью доволен.
Отзыв фрилансера о сотрудничестве с Антоном Демченко
Парсинг данных с проходом защиты CloudflareОчень доволен работой с Антоном. Не получилось выполнить задачу , т.к скорее всего решения просто не существовало.
Четко поставил задачу , всегда отвечал на вопросы. Рекомендую этого заказчика!!!
-
229 0 1 Добрый вечер , Антон.
Имею большой опыт в парсинге данных через selenium.
Готов сделать качественный проект со всеми комментариями буквально за пару часов.
Жду Вашего сообщения! :)
-
196 1 0 Добро пожаловать, я специализируюсь на парсинге данных. Работаю на Python. Есть большой опыт обхода CloudFlare. Это можно сделать даже на обычных запросах через requests