Correction of errors in the script

Python — incorrectly specified categories?

Project translated automatically. Log in or register, to view the original There is a script that using Selenium enters the site looking for the keyword there, gathers the headlines of the answer, and analytics, the time of the nodes, waiting for the answer, etc (as in the fiberbag).In case of error, it makes a screen and saves the HAR file.If 1 copy is launched in 4-5 seconds, everything works normally.Problems start when several tasks are launched simultaneously.(For example, 30 tasks in the 1st minute).The script begins to work unstable.The data in the BD on some bags are stored partially or not stored entirely.The most common problems I saw in the logs: 1 .ProtocolException("Error in HTTP connection: Http2ZombieException('Connection or stream already dead: 1682387806.5554209, False')") 2. r, w_, e_ = select.select([self.socket], [], [], poll_interval) ValueError: filedescriptor out of range in select() What to do: 1 .Fix problems with simultaneous launch that would work properly.2ndOptimize the code.Increase the productivity.At least 60 bags per minute should be processed, preferably more.ThreeGet rid of the extra request with which the headlines are collected.Do it through the selenium.4 .Find out why some processes of chromium do not close and continue to hang in the processes.The script consists of two parts.1 .Managers - who start tasks on schedule.2ndThe accomplished script.All tasks are launched in a separate stream.Technology: Python 3.10, Mysql and Selenium

Proposals 4 Discussions 3

Andrew Proskurin

28 1

Projects 29
Rating -
Rating 431

Budget: 3500 UAH Deadline: 2 days

Hello, ready to do, call me!
The work will be done qualityly!
I will be happy to cooperate!

Yevgeny T.

1 0

Projects -
Rating -
Rating 250

Budget: 1500 UAH Deadline: 7 days

I have good experience in parsing, I can try to solve the problem with performance.

The list does not show proposals concealed by the client or freelancer with a Plus profile, as well as proposals violating rules

Ivan Hrytskiv 25 April 2023

Ну це зрозуміло чому )) стільки сесій селеніуму )) написано ж явно чому )))
В коренях не вірний підхід до такої таски . Тут потрібно інший пул технологій

Anatoly K. 26 April 2023

Во-первых в логах все описано. Во-вторых, чтоб выполнить ваше тз из 4-х пунктов, то нужно первым делом открыть этот ваш «скрипт», нажать контрол+а, а потом ДЕЛ. и переписать все с нуля с правильными инструментами, ибо селен не сильно подходит для задач такого рода. Касательно 4-го пункта, то я думаю, что если распечатать на бумаге все логи ошибок, что выдает сие творенье, то этой бумагой можно устлать дорогу от Киева до Житомира и обратно, и там, вероятно, присутствует че-то типа «during an exception was being handled, another exception occurred….бла бла бла», поэтому и висят какие-то процессы, ибо для их завершения нужна удача или крах, а у вас одна ошибка тянет другую, как в примере логов, поэтому ось така фигня, малята …