Обновить/переписать парсеры Python3.10 Scrapy
2000 UAH
Здравствуйте.
Есть два парсера(сайты: ebay.de, momox.de), работающие на Python3.10 Scrapy синхронно.
Парсят в БД MySQL. Также используется Redis для синхронного параллельного парсинга.
На протяжении полугода они работали без вопросов.
Сейчас наблюдаются следующие проблемы:
1) скорость добавления товаров в БД упала с 800/мин до 400-500/мин. Минимально требемая 750/мин.
2) один парсер начал значильно отставать от другого. Чем дольше парсит, тем больше разрыв. Допустимый разрыв не более 10% от общего кол-ва товаров.
Задача: устранить вышеперечисленные проблемы. Способ решения в рамках языка Python версии 3.х не важен, главное - достичь поставленной цели. Будет то переписанные парсеры либо обновление существующих - не принципиально.
Отзыв заказчика о сотрудничестве с Антоном Гетало
Обновить/переписать парсеры Python3.10 ScrapyБыла сделана масса попыток выполнить проект, но увы - не удалось.
-
3 дня5000 UAH
120 2 0 3 дня5000 UAH
Проведу инвентаризацию решения, найду узкие места (возможно проблема в среде выполнения скрипта, а не в самом скрипте) при необходимости переработаю решение для достижения поставленной цели.
-
1 день1999 UAH
328 4 2 1 день1999 UAH
Есть опыт работы с scrapy. Готов выполнить задание...........
-
Победившая ставка3 дня2000 UAH
244 6 2 Победившая ставка3 дня2000 UAH
Готов сделать Ваш заказ
Задача ясна
Сделаю в сроки и в лучшем виде
Пишите - готов приступать
-
А Вы состояние разных сревсов, в том числе бд проверяли. Может бд уже большой и медленно записывает, поставте логирование работы разных видов и после мониоринга полученных данных на несколько дней, разберете в чем проблема!
-
Не умею этого делать.
Если возьметесь - сделайте ставку.
-
Харьков