Naprawić błędy w pracy skryptów

Python — podano nieprawidłowe kategorie?

Zlecenie jest tłumaczone automatycznie. Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał Istnieje skrypt, który za pomocą Selenium wchodzi na stronę szuka tam słowa kluczowe, gromadzi tytuły odpowiedzi, i analizy, czas pobierania węzłów, oczekiwania na odpowiedź itp (jak w pliku).W przypadku błędu wykonuje ekran i przechowuje plik HAR.Jeśli 1 egzemplarz jest uruchomiony w ciągu 4-5 sekund, wszystko działa normalnie.Problemy zaczynają się, gdy równocześnie uruchamia się kilka zadań.(na przykład 30 zadań w ciągu 1 minuty).Skrypt zaczyna działać niestabilnie.Dane w BD na niektórych workach są częściowo przechowywane lub nie przechowywane w ogóle.Najczęstsze problemy, które widział w logach: 1 .ProtocolException („Error in HTTP connection: Http2ZombieException('Connection or stream already dead: 1682387806.5554209, False')”) 2. r, w_, e_ = select.select([self.socket], [], [], poll_interval) ValueError: filedescriptor out of range in select() Co trzeba zrobić: 1 .Rozwiązywanie problemów z równoczesnym uruchomieniem, co prawidłowo działa.2 .Optymalizuj kod.Wzmocnienie wydajności.Minimalnie 60 worek na minutę, pożądane więcej.3 .Pozbądź się dodatkowego żądania, za pomocą którego gromadzą się tytuły.Zrób to przez selenium.CzteryDowiedz się, dlaczego niektóre procesy chromu nie zamykają się i wciąż wchodzą w procesy.Skrypt składa się z dwóch części.1 .Menedżer - który uruchamia zadania na harmonogram.2 .Wypełniony scenariusz.Wszystkie zadania są wykonywane w oddzielnym strumieniu.Technologia: Python 3.10, Mysql i Selenium

Oferty 4 Dyskusje 3

Andrew Proskurin

28 1

Zlecenia 29
Ocena -
Ranking 431

Budżet: 3500 UAH Termin: 2 dni

Cześć, gotowy do zrobienia, proszę o kontakt!
Praca będzie wykonywana w sposób jakościowy!
Będę z przyjemnością współpracował!

Yevgeny T.

1 0

Zlecenia -
Ocena -
Ranking 250

Budżet: 1500 UAH Termin: 7 dni

Mam dobre doświadczenie w parsingu, mogę spróbować rozwiązać problem z wydajnością

Ivan Hrytskiv 25 kwietnia 2023

Ну це зрозуміло чому )) стільки сесій селеніуму )) написано ж явно чому )))
В коренях не вірний підхід до такої таски . Тут потрібно інший пул технологій

Anatoly Kustov 26 kwietnia 2023

Во-первых в логах все описано. Во-вторых, чтоб выполнить ваше тз из 4-х пунктов, то нужно первым делом открыть этот ваш «скрипт», нажать контрол+а, а потом ДЕЛ. и переписать все с нуля с правильными инструментами, ибо селен не сильно подходит для задач такого рода. Касательно 4-го пункта, то я думаю, что если распечатать на бумаге все логи ошибок, что выдает сие творенье, то этой бумагой можно устлать дорогу от Киева до Житомира и обратно, и там, вероятно, присутствует че-то типа «during an exception was being handled, another exception occurred….бла бла бла», поэтому и висят какие-то процессы, ибо для их завершения нужна удача или крах, а у вас одна ошибка тянет другую, как в примере логов, поэтому ось така фигня, малята …