Скрипт для парсинга ekw.ms.gov.pl --5
10 000 UAHЗдравствуйте.
Данный проект - продолжение проекта https://freelancehunt.com/project/skript-dlya-parsinga-ekwmsgovpl/603946.html
Задача, как бы, выполнена на Python3.6, но по факту имею очень низкую, что делает скрипт бесполезным.
Даже при использовании платных прокси сайт довольно часто блокирует парсинг - нужно найти способы решения (может быть использовать сторонние вервисы или доп. настройки для обхода блокировки - рассмотрю все варианты).
На данный момент скрипт просто перезагружает страницу при бане, и после нескольких попыток сайт дает спарсить инфу, смена IP помогает, но не надолго.
Как выяснилось, сайт защищен Гугл рекапча, но не видимой, а которая работает в скрытом режиме и отлавливает действия пользователя, распознавая подозрительную активность. Наверняка есть способы обхода - нужно их найти и применить.
Необходимо достичь скорость парсинга не менее 10000 поисковых запросов в сутки.
Желательно, скрипт должен работать под Windows 10/Windows Server 2016.
НО, есть ПК Убунту 16.04, при необходимости, можно использовать его.
-
2225 32 0 Добрий вечер. Буду пробовать все зделать без селениума. Капча сдеть если и есть то развязивается не сторонними апи. Подробности все в приватном сообщении. Спасибо.