Виправити помилки в роботі скрипта

Python — неправильно зазначені категорії?

Проєкт перекладено автоматично. Увійдіть або зареєструйтесь, щоб побачити оригінал Є скрипт, який за допомогою Selenium входить на сайт шукає там ключове слово, збирає заголовки відповіді, і аналітику, час завантаження узлів, очікування відповіді і т.д. (як у файрбаг).У разі помилок робить екран і зберігає HAR-файл.Якщо запускається 1 екземпляр за 4 -5 секунд, все працює нормально.Проблеми починаються, коли одночасно запускається кілька завдань.(наприклад, 30 завдань за 1 хвилину).Скрипт починає працювати нестійко.Дані в БД за деякими мішками зберігаються частково або не зберігаються взагалі.Найбільш поширені проблеми, які бачив у логах: 1 .ProtocolException("Error in HTTP connection: Http2ZombieException('Connection or stream already dead: 1682387806.5554209, False')") 2. r, w_, e_ = select.select([self.socket], [], [], poll_interval) ValueError: filedescriptor out of range in select() Що потрібно зробити: 1 .Виправити проблеми з одночасним запуском, що б правильно працювало.2 .Оптимізувати код.Збільшити продуктивність.Мінімум за хвилину повинно обробляти 60 мішок, бажано більше.3 .Звільнитися від надлишкового request, за допомогою якого збираються заголовки.Зробити це через селениум.ЧетвертийЗрозуміти, чому деякі процеси хрома не закриваються і продовжують повіситися в процесах.Скрипт складається з двох частин.1 .Менеджер - який запускає завдання за графіком.2 .Виконаний скриптВсі завдання запускаються в окремому потоку.Технології: Python 3.10, Mysql, Selenium

Ставки 4 Обговорення 3

Andrew Proskurin

28 1

Проєкти 29
Оцінка -
Рейтинг 431

Бюджет: 3500 UAH Термін: 2 дні

Привітання, готові зробити, звертайтеся!
Робота буде виконана якісно!
Будемо раді співпрацювати!

Евгений Ц.

1 0

Проєкти -
Оцінка -
Рейтинг 250

Бюджет: 1500 UAH Термін: 7 днів

має хороший досвід в парсингу, я можу спробувати вирішити проблему з продуктивністю

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Ivan Hrytskiv 25 квітня 2023

Ну це зрозуміло чому )) стільки сесій селеніуму )) написано ж явно чому )))
В коренях не вірний підхід до такої таски . Тут потрібно інший пул технологій

Анатолий К. 26 квітня 2023

Во-первых в логах все описано. Во-вторых, чтоб выполнить ваше тз из 4-х пунктов, то нужно первым делом открыть этот ваш «скрипт», нажать контрол+а, а потом ДЕЛ. и переписать все с нуля с правильными инструментами, ибо селен не сильно подходит для задач такого рода. Касательно 4-го пункта, то я думаю, что если распечатать на бумаге все логи ошибок, что выдает сие творенье, то этой бумагой можно устлать дорогу от Киева до Житомира и обратно, и там, вероятно, присутствует че-то типа «during an exception was being handled, another exception occurred….бла бла бла», поэтому и висят какие-то процессы, ибо для их завершения нужна удача или крах, а у вас одна ошибка тянет другую, как в примере логов, поэтому ось така фигня, малята …

Иван Е.

27 квітня 2023

Обычный регвест не подходит.

Цена вопроса?

Додати коментар

Актуальні фриланс-проєкти в категорії Python

Доопрацювання Python-програми під новий інтерфейс чатів Twitter (X)

Десктопні додатки 50 ставок 31 липня

Не вказано
Сигнальний бот для трейдингу

Розробка ботів 55 ставок 31 липня

3000 UAH
Парсинг сайту, обхід захисту Akami

Парсинг даних 39 ставок 30 липня

Не вказано
Розробка ІІ-бота для прийому та обробки замовлень від ресторанів у Telegram з інтеграцією в 1С

72 ставки 29 липня

20 000 UAH
Потрібно на поточній версії бота виправити баг.

Розробка ботів 87 ставок 27 липня

Не вказано

Иван Е.
Україна

Проєктів 12
Оцінка -
Рейтинг 489

Andrew Proskurin

Евгений Ц.

Ставки поки відсутні

Актуальні фриланс-проєкти в категорії Python

Доопрацювання Python-програми під новий інтерфейс чатів Twitter (X)

Сигнальний бот для трейдингу

Парсинг сайту, обхід захисту Akami

Розробка ІІ-бота для прийому та обробки замовлень від ресторанів у Telegram з інтеграцією в 1С

Потрібно на поточній версії бота виправити баг.