Обновить/переписать парсеры Python3.10 Scrapy

Name: Обновить/переписать парсеры Python3.10 Scrapy
Price: 2000 UAH
Availability: InStock

Python, Базы данных и SQL — неверно указаны категории?

2000 UAH

Отзыв заказчика о сотрудничестве с Антоном Гетало

Обновить/переписать парсеры Python3.10 Scrapy

2000 UAH

Была сделана масса попыток выполнить проект, но увы - не удалось.

1.9

Олександр Л.

3 октября 2022

Здравствуйте.

Есть два парсера(сайты: ebay.de, momox.de), работающие на Python3.10 Scrapy синхронно.

Парсят в БД MySQL. Также используется Redis для синхронного параллельного парсинга.

На протяжении полугода они работали без вопросов.

Сейчас наблюдаются следующие проблемы:

1) скорость добавления товаров в БД упала с 800/мин до 400-500/мин. Минимально требемая 750/мин.

2) один парсер начал значильно отставать от другого. Чем дольше парсит, тем больше разрыв. Допустимый разрыв не более 10% от общего кол-ва товаров.

Задача: устранить вышеперечисленные проблемы. Способ решения в рамках языка Python версии 3.х не важен, главное - достичь поставленной цели. Будет то переписанные парсеры либо обновление существующих - не принципиально.

Ставки 4 Обсуждения 2

Костянтин Ткаченко

2 0

Проекты -
Оценка -
Рейтинг 72

Бюджет: 5000 UAH Срок: 3 дня

Проведу инвентаризацию решения, найду узкие места (возможно проблема в среде выполнения скрипта, а не в самом скрипте) при необходимости переработаю решение для достижения поставленной цели.