Aktualizacja / ponowne pisanie parzerów Python3.10 Scrapy
164 PLN 
Istnieją dwa parzery (strony: ebay.de, momox.de), które działają na Python3.10 Scrapy synchronicznie.
Występuje w BD MySQL. Redis jest również używany do synchronicznego parsingu równoległego.
Przez pół roku pracował bez pytań.
Obecnie występują następujące problemy:
1) prędkość dodania towarów do BD spadła z 800/min do 400-500/min. Minimalna długość 750/min.
2) Jeden parser zaczął znacznie oddalać się od drugiego. Im dłużej pasuje, tym większa przerwa. Dopuszczalny rozkład nie przekracza 10% całkowitej liczby towarów.
Zadaniem jest rozwiązywanie powyższych problemów. Sposób rozwiązania w języku Python wersja 3x nie ma znaczenia, najważniejsze jest osiągnięcie określonego celu. To będzie przeniesione parzery lub aktualizacja istniejących - nie jest zasadnicze.
Opinia zleceniodawcy o współpracy z Anton Getalo
Aktualizacja / ponowne pisanie parzerów Python3.10 ScrapyZrobiło się wiele prób, ale niestety nie udało się.
-
3 dni410 PLN
120 2 0 3 dni410 PLN
Przeprowadzę inwentaryzację rozwiązania, znajdę wąskie miejsca (może problem znajduje się w środowisku wykonania skryptów, a nie w samym skryptie), jeśli to konieczne, przetwarzam rozwiązanie w celu osiągnięcia określonego celu.
-
1 dzień164 PLN
328 4 2 1 dzień164 PLN
Doświadczenie w pracy z Scrapy. Gotowy do wykonania zadania ................
-
Oferta, która wygrała3 dni164 PLN
244 6 2 Oferta, która wygrała3 dni164 PLN
Gotowy do złożenia zamówienia
Zadanie jasne
Zrobię to na czas i w najlepszym sposobie.
Napisz - gotowy do rozpoczęcia
-
А Вы состояние разных сревсов, в том числе бд проверяли. Может бд уже большой и медленно записывает, поставте логирование работы разных видов и после мониоринга полученных данных на несколько дней, разберете в чем проблема!
-
Не умею этого делать.
Если возьметесь - сделайте ставку.
-
Charków