Исправить ошибки в работе скрипта
Требуется опытный программист!
Есть скрипт, который используя Selenium заходит на сайт ищет там ключевое слово, собирает заголовки ответа, и аналистику, время загрузки узлов, ожидание ответа и т.д (как в файрбаг).
В случае ошибок делает скрин и сохраняет HAR-файл.
Если запускается 1 экземпляр в 4 -5 секунд, все работает нормально. Проблемы начинаются когда одновременно запускается несколько задач. (например 30 задач в течении 1-й минуты).
Скрипт начинает работать не стабильно. Данные в БД по некоторым таскам сохраняются частично или не сохраняются вовсе.
Наиболее распространенные проблемы которые видел в логах:
1. ProtocolException("Error in HTTP connection: Http2ZombieException('Connection or stream already dead: 1682387806.5554209, False')")
2. r, w_, e_ = select.select([self.socket], [], [], poll_interval) ValueError: filedescriptor out of range in select()
Что нужно сделать:
1. Исправить проблемы с одновременным запуском, что бы корректно работало.
2. Оптимизировать код. Увеличить производительность. Минимум в минуту должно отрабатывать 60 тасков, желательно больше.
3. Избавиться от лишнего request с помощью которого собираются заголовки. Сделать это через селениум.
4. Разобраться почему некоторые процессы хром не закрываются и продолжают висеть в процессах.
Скрипт состоит из двух частей.
1. Менеджер - который запускает задачи по расписанию.
2. Исполняемый скрипт.
Все задачи запускаются в отдельном потоке.
Технологии: Python 3.10, Mysql, Selenium
-
3 дня500 UAH
866 15 0 3 дня500 UAH
Здравствуйте.
Вы запускаете код на ПК или иной машине? Возможно, у вас просто не хватает оперативной памяти для обработки всех процессов.
Также, меня интересует, запускается ли хром в режиме headless?
В остальном же нужно смотреть на код, чтобы понять, в чём основная проблема.
-
1 день500 UAH
194 1 день500 UAH
Добрый день!
Full-stack разработчик с опытом работы более 6 лет, Ваш проект очень интересен, имею необходимый опыт для его реализации, предлагаю такие технологии Node.js + Vue.js. Давайте сделаем звонок для детального обсуждения задачи, поделюсь своим видением и обсудим сотрудничество, пишите
Актуальные фриланс-проекты в категории Python
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 2 дня 5 часов назад ∙ 21 ставка |
Розработка Тик-Ток фермы (контент-завод)Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 2 дня 17 часов назад ∙ 19 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 2 дня 23 часа назад ∙ 24 ставки |
Система OCRНужна система распознавания текста на почтовых конвертах (индекс кому - только числа). Текст иногда может быть рукописным. Распознавание марок (подсчет количества и номинала) Python ∙ 3 дня 2 часа назад ∙ 25 ставок |
Создание Human AI Assistant для Telegram-групп### 1.1. Ключевая концепция системы Система должна выполнять две основные функции: #### 1. Анализ клиентской коммуникации AI-ассистент должен автоматически анализировать всю коммуникацию в Telegram-группах и понимать контекст общения. В частности, система должна: -… AI и машинное обучение, Python ∙ 4 дня 14 часов назад ∙ 43 ставки |
Украина