Здравствуйте.
Данный проект - продолжение проекта https://freelancehunt.com/project/skript-dlya-parsinga-ekwmsgovpl/603946.html
Задача практически выполнена на Python3.6, но есть несколько моментов, которые нужно исправить:
1. при работе в многопоточном режиме запросы идут не по порядку, а с интервалом 10000000
2. устранить ворнинги в терминале при работе chromdriver
3. даже при использовании платных прокси сайт довольно часто блокирует парсинг - найти способы решения (может быть использовать сторонние вервисы или доп. настройки для обхода блокировки - рассмотрю все варианты).
На данный момент скрипт просто перезагружает страницу при бане, и после нескольких попыток сайт дает спарсить инфу, смена IP помогает, но не надолго.
4. Нужно достичь скорость парсинга не менее 10000 поисковых запросов в сутки.
Желательно, скрипт должен работать под Windows 10/WIndows Server 2016.
НО, есть ПК Убунту 16.04, при необходимости, можно использовать его.
