Aktualizacja / ponowne pisanie parzerów Python3.10 Scrapy

Bazy danych i SQL, Python — podano nieprawidłowe kategorie?

169 PLN

Opinia zleceniodawcy o współpracy z Anton Getalo

Aktualizacja / ponowne pisanie parzerów Python3.10 Scrapy

169 PLN

Zrobiło się wiele prób, ale niestety nie udało się.

1.9

Oleksandr L.

3 października 2022

Zlecenie jest tłumaczone automatycznie. Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał Pozdrawiam . Istnieją dwa parzery (strony: ebay.de, momox.de), które działają na Python3.10 Scrapy synchronicznie. Występuje w BD MySQL. Redis jest również używany do synchronicznego parsingu równoległego. Przez pół roku pracował bez pytań. Obecnie występują następujące problemy: 1) prędkość dodania towarów do BD spadła z 800/min do 400-500/min. Minimalna długość 750/min. 2) Jeden parser zaczął znacznie oddalać się od drugiego. Im dłużej pasuje, tym większa przerwa. Dopuszczalny rozkład nie przekracza 10% całkowitej liczby towarów. Zadaniem jest rozwiązywanie powyższych problemów. Sposób rozwiązania w języku Python wersja 3x nie ma znaczenia, najważniejsze jest osiągnięcie określonego celu. To będzie przeniesione parzery lub aktualizacja istniejących - nie jest zasadnicze.

Oferty 4 Dyskusje 2

Kostyantin Tkachenko

2 0

Zlecenia -
Ocena -
Ranking 72

Budżet: 5000 UAH Termin: 3 dni

Przeprowadzę inwentaryzację rozwiązania, znajdę wąskie miejsca (może problem znajduje się w środowisku wykonania skryptów, a nie w samym skryptie), jeśli to konieczne, przetwarzam rozwiązanie w celu osiągnięcia określonego celu.