Исправить ошибки в работе скрипта

Python — неверно указаны категории?

Есть скрипт, который используя Selenium заходит на сайт ищет там ключевое слово, собирает заголовки ответа, и аналистику, время загрузки узлов, ожидание ответа и т.д (как в файрбаг).

В случае ошибок делает скрин и сохраняет HAR-файл.

Если запускается 1 экземпляр в 4 -5 секунд, все работает нормально. Проблемы начинаются когда одновременно запускается несколько задач. (например 30 задач в течении 1-й минуты).

Скрипт начинает работать не стабильно. Данные в БД по некоторым таскам сохраняются частично или не сохраняются вовсе.

Наиболее распространенные проблемы которые видел в логах:

1. ProtocolException("Error in HTTP connection: Http2ZombieException('Connection or stream already dead: 1682387806.5554209, False')")

2. r, w_, e_ = select.select([self.socket], [], [], poll_interval) ValueError: filedescriptor out of range in select()

Что нужно сделать:

1. Исправить проблемы с одновременным запуском, что бы корректно работало.
2. Оптимизировать код. Увеличить производительность. Минимум в минуту должно отрабатывать 60 тасков, желательно больше.

3. Избавиться от лишнего request с помощью которого собираются заголовки. Сделать это через селениум.

4. Разобраться почему некоторые процессы хром не закрываются и продолжают висеть в процессах.

Скрипт состоит из двух частей.

1. Менеджер - который запускает задачи по расписанию.

2. Исполняемый скрипт.

Все задачи запускаются в отдельном потоке.

Технологии: Python 3.10, Mysql, Selenium

Ставки 4 Обсуждения 3

Andrew Proskurin

28 1

Проекты 29
Оценка -
Рейтинг 431

Бюджет: 3500 UAH Срок: 2 дня

Здравствуйте, готов сделать, обращайтесь!
Работа будет выполнена качественно!
Буду рад сотрудничать!

Евгений Ц.

1 0

Проекты -
Оценка -
Рейтинг 250

Бюджет: 1500 UAH Срок: 7 дней

есть хороший опыт в парсинге, могу попробовать решить проблему с производительностью

Ivan Hrytskiv 25 апреля 2023

Ну це зрозуміло чому )) стільки сесій селеніуму )) написано ж явно чому )))
В коренях не вірний підхід до такої таски . Тут потрібно інший пул технологій

Анатолий Кустов 26 апреля 2023

Во-первых в логах все описано. Во-вторых, чтоб выполнить ваше тз из 4-х пунктов, то нужно первым делом открыть этот ваш «скрипт», нажать контрол+а, а потом ДЕЛ. и переписать все с нуля с правильными инструментами, ибо селен не сильно подходит для задач такого рода. Касательно 4-го пункта, то я думаю, что если распечатать на бумаге все логи ошибок, что выдает сие творенье, то этой бумагой можно устлать дорогу от Киева до Житомира и обратно, и там, вероятно, присутствует че-то типа «during an exception was being handled, another exception occurred….бла бла бла», поэтому и висят какие-то процессы, ибо для их завершения нужна удача или крах, а у вас одна ошибка тянет другую, как в примере логов, поэтому ось така фигня, малята …