Скрипт для парсинга ekw.ms.gov.pl --3
2600 UAHЗдравствуйте.
Данный проект - продолжение проекта https://freelancehunt.com/project/skript-dlya-parsinga-ekwmsgovpl/603946.html
Задача практически выполнена на Python3.6, но есть несколько моментов, которые нужно исправить:
1. при работе в многопоточном режиме запросы идут не по порядку, а с интервалом 10000000
2. устранить ворнинги в терминале при работе chromdriver
3. даже при использовании платных прокси сайт довольно часто блокирует парсинг - найти способы решения (может быть использовать сторонние вервисы или доп. настройки для обхода блокировки - рассмотрю все варианты).
На данный момент скрипт просто перезагружает страницу при бане, и после нескольких попыток сайт дает спарсить инфу, смена IP помогает, но не надолго.
Скрипт должен работать под Windows 10/WIndows Server 2016.
Нужно достичь скорость парсинга не менее 10000 поисковых запросов в сутки.
Отзыв заказчика о сотрудничестве с Игорем Малым
Скрипт для парсинга ekw.ms.gov.pl --3К сожалению, исполнитель не справился с задачей... Не знаю, решаема ли задача в принципе - хочется верить, что да. На выходе получилась только трата времени, увы.