Допомога у вирішенні багатоточності Python на живому куті коду
200 UAH
Мені потрібно обробляти 80к доменів (рахуючи для кожного даних webarchive) і я зробив скрипт на python, який це робить. Але він робить це послідовно і повільно.. Так що я тільки почав вивчати python, я ніяк не можу розв’язатися з багатоточністю... і прошу допомоги від спільноти.
У мене є ділянок коду, який створює пуль завдань (передаючи в нього i - це номер домену в DataFrame)
Він викликає функцію, яка повинна в багатопоточному режимі з використанням прокси робити запити до вебархіву.. і отриманий в результаті запиту чисельний результат вкладає в клітину датафрейм. І тут у мене виникли труднощі - чого я просто не спробував - нічого не виходить 😔
як виконаний проект мені потрібен працюючий перероблений шматок мого коду, який я можу вставити в свій проект замість приведеного за посиланням - щоб звернення до вебархіву йшли в багатопоточному паралельному режимі
Відгук замовника про співпрацю з фрилансером
Допомога у вирішенні багатоточності Python на живому куті кодуДругий раз Даніель допоміг мені вирішити моє питання в python коді - і другий раз швидко, чітко і ефективно. Дякую вам!
Відгук фрилансера про співпрацю з Sergey Samoylenko
Допомога у вирішенні багатоточності Python на живому куті кодуКлієнт вибрав зручний для обох сторін час для виконання. Задача була поставлена правильно, на зв'язок Сергій виходив вчасно. Було приємно співпрацювати 🙂
-
1 день200 UAH
1069 41 0 1 день200 UAH
Вітаю вас!
Подивіться на свій код. Ви використовуєте синхронну бібліотеку requests з асинхронним кодом, тому від цього немає сенсу. Можна не використовувати асинхронність, а запустити виконання функції в різних процесах. Робота буде залежати від дзвінка зазначених потоків в коді і від вашого ПК.
-
Используйте, async или multiprocessing
-
Sergey Samoylenko ТОВ "СЕОПОРТ"
с этим я и не смог пока разобраться ... https://ru.stackoverflow.com/questions/1122964/async-вызов-функции-с-http-request
-
Если надо как можно быстрее и пулл задач поддерживает паралельные запросы используйте второй метод.
-
Ссылка на стакьоверфлоу не действительна.
-
чего только люди не придумают, чтоб про GIL не читать %)
запустил бы олдскульно по процессу на ядро и было б щасте
кстати, на с\о уже ответили -
Sergey Samoylenko ТОВ "СЕОПОРТ"
я повторюсь - не могу я пока осилить async - сложно мне пока..
-
перевожу: на с\о посоветовали использовать асинхронную библиотеку, потому что http.requets работает синхронно всегда
мультипроцессинг в самом примитивном варианте выглядит как запуск скрипта несколько раз
код почитаю уже завтра. есть полная версия? -
Sergey Samoylenko ТОВ "СЕОПОРТ"
комментарии я понял - и понимаю, что async требует другого формата request - я пробовал - не получилось. побился головой об стенку - написал сюда. Multiprocessing сейчас пробую
-
Актуальні фриланс-проєкти в категорії Python
Розробка веб-сервісу з платним доступом до онлайн-чатуДоброго дня, необхідно розробити веб-сервіс, який включає: * персональні посилання для користувачів; * сторінку з описом послуги; * оплату через PayPal; * онлайн-чат в реальному часі; * відображення відео на сторінці користувача; * облік оплаченного часу та автоматичне… Python, Веб-програмування ∙ 13 хвилин тому ∙ 9 ставок |
Створення додаткуБажаю створити мобільний додаток для спілкування, в застосунку має бути аудіо,відео дзвінок, створення групових чатів,можливість синхронізувати з контактами телефону, налаштуваннями акаунта: привязка по мейлу, 2фа, номеру телефону,можливість налаштовувати сповіщення… Java, Python ∙ 22 години 5 хвилин тому ∙ 32 ставки |
Налаштування двосторонньої інтеграції WhatsApp з Odoo CRMВітаю! Шукаємо спеціаліста для реалізації технічного завдання з налаштування двосторонньої інтеграції месенджера WhatsApp з CRM-системою Odoo. ⚠️ Важливе технічне уточнення:Офіційний WhatsApp Business API (WABA) не розглядається. Необхідно впровадити стабільне «сіре» рішення… Python, Веб-програмування ∙ 1 день 8 годин тому ∙ 23 ставки |
Парсинг даних через мобільне APIШукаю людину з досвідом парсингу даних через мобільне API, для парсингу e-commerce, rozetka та аналоги Завдання: 1. Перехоплення трафіку мобільного додатку (Android) налаштування проксі, аналіз запитів 2. Визначення потрібних API endpoints, куди йдуть запити, які headers… Python, Парсинг даних ∙ 3 дні 4 години тому ∙ 31 ставка |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 8 днів 13 годин тому ∙ 29 ставок |
Київ