There are two parsers (websites: ebay.de, momox.de) working on Python3.10 Scrapy synchronically.
It is in the BD MySQL. Redis is also used for synchronous parallel parsing.
For six months they worked without any questions.
The following problems are now observed:
1) the speed of adding goods to the BD fell from 800/min to 400-500/min. A minimum of 750/min.
2) one parser began to distant significantly from the other. The longer it passes, the greater the gap. Permissible break no more than 10% of the total call and goods.
The task is to address the above problems. The way of solving within the language of Python version 3x is not important, the main thing is to
Здравствуйте.
Есть два парсера(сайты: ebay.de, momox.de), работающие на Python3.10 Scrapy синхронно.
Парсят в БД MySQL. Также используется Redis для синхронного параллельного парсинга.
На протяжении полугода они работали без вопросов.
Сейчас наблюдаются следующие проблемы:
1) скорость добавления товаров в БД упала с 800/мин до 400-500/мин. Минимально требемая 750/мин.
2) один парсер начал значильно отставать от другого. Чем дольше парсит, тем больше разрыв. Допустимый разрыв не более 10% от общего кол-ва товаров.
Задача: устранить вышеперечисленные проблемы. Способ решения в рамках языка Python версии 3.х не важен, главное - достичь поставленной цели. Будет то переписанные парсеры либо обновление существующих - не принципиально.
Client's feedback on cooperation with Anton Getalo
Update/rewrite the Python3.10 Scrapy parsersA lot of attempts were made to implement the project, but unfortunately it failed.
-
128 2 0 I will invent the solution, I will find the narrow places (there may be a problem in the script performance environment, not in the script itself) if necessary I will re-work the solution to
the set goal. Проведу инвентаризацию решения, найду узкие места (возможно проблема в среде выполнения скрипта, а не в самом скрипте) при необходимости переработаю решение для достижения поставленной цели.
-
270 4 2 I have experience with scrapy. Ready to fulfill the task.
Есть опыт работы с scrapy. Готов выполнить задание...........
-
336 6 2 Ready to make your order
The task is clear
I do it in the right time and in the best way.
Write, ready to start
Готов сделать Ваш заказ
Задача ясна
Сделаю в сроки и в лучшем виде
Пишите - готов приступать
-
А Вы состояние разных сревсов, в том числе бд проверяли. Может бд уже большой и медленно записывает, поставте логирование работы разных видов и после мониоринга полученных данных на несколько дней, разберете в чем проблема!
-