Скрипт для парсинга ekw.ms.gov.pl --4
5000 UAHЗдравствуйте.
Данный проект - продолжение проекта https://freelancehunt.com/project/skript-dlya-parsinga-ekwmsgovpl/603946.html
Задача практически выполнена на Python3.6, но есть несколько моментов, которые нужно исправить:
1. при работе в многопоточном режиме запросы идут не по порядку, а с интервалом 10000000
2. устранить ворнинги в терминале при работе chromdriver
3. даже при использовании платных прокси сайт довольно часто блокирует парсинг - найти способы решения (может быть использовать сторонние вервисы или доп. настройки для обхода блокировки - рассмотрю все варианты).
На данный момент скрипт просто перезагружает страницу при бане, и после нескольких попыток сайт дает спарсить инфу, смена IP помогает, но не надолго.
4. Нужно достичь скорость парсинга не менее 10000 поисковых запросов в сутки.
Желательно, скрипт должен работать под Windows 10/WIndows Server 2016.
НО, есть ПК Убунту 16.04, при необходимости, можно использовать его.
Отзыв заказчика о сотрудничестве с Вадимом П.
Скрипт для парсинга ekw.ms.gov.pl --4Все так хорошо начиналось! Сейчас - молчание в ответ на мои сообщения на протяжении 3х дней!
По результату: потрачено 15 дней и 50$ на аренду сервера в пустую.