Оновлення/переписувати парсерів Python3.10 Scrapy
2000 UAH 
Є два парсери (сайти: ebay.de, momox.de), що працюють на Python3.10 Scrapy синхронічно.
Поділяється в БД MySQL. Також використовується Redis для синхронного паралельного парсінга.
Протягом шести місяців вони працювали без запитань.
В даний час спостерігаються наступні проблеми:
1) швидкість додавання товарів до БД знизилася з 800/мин до 400-500/мин. Мінімальна тривалість 750/мин.
2) один парсер почав значно відставати від іншого. Чим довше парсіт, тим більше розриву. Допустимий розрив не більше 10% від загального кол-ва товарів.
Завдання: усунути вищезазначені проблеми. Спосіб вирішення в рамках мови Python версії 3х не має значення, головне - досягти поставленої мети. Буде це переписані парсері або оновлення існуючих - не принципово.
Відгук замовника про співпрацю з Антоном Гетало
Оновлення/переписувати парсерів Python3.10 ScrapyБуло зроблено багато спроб виконати проект, але, на жаль, не вдалося.
-
3 дні5000 UAH
120 2 0 3 дні5000 UAH
Я буду інвентаризувати рішення, знайду вузькі місця (можливо проблема в середовищі виконання скрипта, а не в самій скрипті) при необхідності перероблю рішення для досягнення поставленої мети.
-
1 день1999 UAH
328 4 2 1 день1999 UAH
Існує досвід роботи з Scrapy. Готовий виконати завдання ................
-
Переможець3 дні2000 UAH
244 6 2 Переможець3 дні2000 UAH
Готовий зробити Ваш замовлення
Задача чітка
Зробіть це в терміні і в кращому вигляді.
Напишіть – готовий діяти
-
А Вы состояние разных сревсов, в том числе бд проверяли. Может бд уже большой и медленно записывает, поставте логирование работы разных видов и после мониоринга полученных данных на несколько дней, разберете в чем проблема!
-
Не умею этого делать.
Если возьметесь - сделайте ставку.
-
Харків