Помочь с решением многопоточности python на живом куске кода
200 UAHвопрос сам находится вот тут https://ru.stackoverflow.com/questions/1122964/async-вызов-функции-с-http-request
Мне нужно обработать 80к доменов (считав для каждого данные webarchive) и я сделал скрипт на python, который это делает. Но он делает это последовательно и медленно.. Так я только начал изучать python, я никак не могу разобраться с многопоточностью... и прошу помощи у сообщества.
У меня есть участок кода, который создает пул задач (передавая в него i - это номер домена в DataFrame)
он вызывает функцию, которая должна в многопоточном режиме с применением прокси делать запросы к вебархиву.. и полученный в результате запроса числовой результат кладет в ячейку датафрейм. И вот тут у меня возникли сложности - чего я только не перепробовал - ничего не выходит 😔
в качестве выполненного проекта мне нужен работающий доработанный кусок моего кода, который я могу вставить в свой проект вместо приведенного по ссылке - чтобы обращения к вебархиву шли в многопоточном параллельном режиме
Отзыв заказчика о сотрудничестве с фрилансером
Помочь с решением многопоточности python на живом куске кодавторой раз Даниил помог мне решить мой вопрос в python коде - и второй раз быстро, четко и результативно. Спасибо!
Отзыв фрилансера о сотрудничестве с Sergey Samoylenko
Помочь с решением многопоточности python на живом куске кодаЗаказчик выбрал удобное обеим сторонам время для выполнения. Задача была поставлена корректно, на связь Сергей выходил вовремя. Было приятно сотрудничать 🙂
-
1 день200 UAH
1104 41 0 1 день200 UAH
Приветствую!
Посмотрел ваш код. Вы используете синхронную библиотеку requests с асинхронным кодом, поэтому от этого нету смысла. Можно не использовать асинхронность, а запускать выполнение функции в разный процессах. Работа будет зависеть от кол-ва указанных потоков в коде и от вашего ПК.
-
Используйте, async или multiprocessing
-
Sergey Samoylenko ТОВ "СЕОПОРТ"
с этим я и не смог пока разобраться ... https://ru.stackoverflow.com/questions/1122964/async-вызов-функции-с-http-request
-
Если надо как можно быстрее и пулл задач поддерживает паралельные запросы используйте второй метод.
-
Ссылка на стакьоверфлоу не действительна.
-
чего только люди не придумают, чтоб про GIL не читать %)
запустил бы олдскульно по процессу на ядро и было б щасте
кстати, на с\о уже ответили -
Sergey Samoylenko ТОВ "СЕОПОРТ"
я повторюсь - не могу я пока осилить async - сложно мне пока..
-
перевожу: на с\о посоветовали использовать асинхронную библиотеку, потому что http.requets работает синхронно всегда
мультипроцессинг в самом примитивном варианте выглядит как запуск скрипта несколько раз
код почитаю уже завтра. есть полная версия? -
Sergey Samoylenko ТОВ "СЕОПОРТ"
комментарии я понял - и понимаю, что async требует другого формата request - я пробовал - не получилось. побился головой об стенку - написал сюда. Multiprocessing сейчас пробую
-
Актуальные фриланс-проекты в категории Python
Создание многофункционального бота в Телеграм
1000 UAH
(Все материалы предоставлю в приватные сообщения) Вот детальное описание проекта: После нажатия кнопки /start Бот присылает текст с правилами и условиями пользования (под текстом, кнопка ‘ознакомлен’) После нажатия на кнопку, следующее сообщение ‘проверка на подписку’ Три… Python, Разработка ботов ∙ 2 дня 4 часа назад ∙ 93 ставки |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 4 дня 17 часов назад ∙ 26 ставок |
Розработка Тик-Ток фермы (контент-завод)Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 5 дней 4 часа назад ∙ 20 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 5 дней 11 часов назад ∙ 26 ставок |
Система OCRНужна система распознавания текста на почтовых конвертах (индекс кому - только числа). Текст иногда может быть рукописным. Распознавание марок (подсчет количества и номинала) Python ∙ 5 дней 14 часов назад ∙ 28 ставок |
Киев