ПРЕДЫСТОРИЯ #
Предположим есть Магазины. В Магазинах есть товар для продажи.
Задача скрипта спрогнозировать кол-во продаж по Каждому Магазину, по Каждому Товару.
Будем считать, что скрипт разделён на две части.
1. Обработка входящих данных.
а. Загрузка данных.
б. Чистка этих данных и отбор только нужных.
2. Сам этап прогнозирования.
а. Первый цикл проходит по Магазинам.
б. Второй цикл проходит по Товару.
(Цикл в Цикле). Дальше в скрипте обозначено место, которое надо переписать для многопоточности. Не многопроцессорность! Функция "map()" - не подходит.
ТЕКУЩАЯ РАБОТА #
Выполнение Первой части скрипта занимает примерно 1 минуту.
Выполнения прогнозирования по 1 Магазину занимает 3-10 секунд (в среднем 4 сек.).
Прогнозирования работает последовательно (2 цикла "for").
Магазинов примерно 370+.
Общее время выполнения скрипта примерно 40 минут +-.
ЗАДАЧА #
Рассмотрим ТРИ Магазина.
Данный скрипт прогнозирует 3 магазина за 4+4+4=12 сек.
Я хочу, чтобы 3 магазина прогнозировались за 4-5 сек. (в отдельных потоках).
В итоге (в идеале) хочу сократить время выполнения скрипта с 40 мин. до 5-7 мин.
Все результаты прогнозирования должны быть записаны в ОДИН "pandas.DataFrame".
ПРОБЛЕМА #
Я уже несколько недель пытался это сделать, но желаемого результата так и не добился.
У меня получилось добиться, как таковой, многопоточности. Но есть предположение, что у меня не получилось решить вопрос с "Race Conditions".
Также вопрос с загрузочными данными. Могут ли потоки одновременно считывать данные с одной и той же переменной?
По всем вопросам пишите в Telegram.
Бюджет: 5000 UAH Срок: 5 дней
За 5 днів модифікую Ваш скрипт так, щоб час його виконання (при тих самих за розміром вхідних даних) був менше 7 хвилин. У фінальному коді відкоментую що модифікував(додав, видалив, змінив), та чому саме ввів кожну модифікацію.
пишите в телеграм @azdir. сделаю быстро
Читать одну переменную из разных потоков можно, вот писать в неё - уже не стоит.
И 4-5 секунд на каждый магаз в отдельном потоке, если одним потоком они обрабатываются 4+4+4 - не то чтобы совсем нереально (хотя 4 будет уж совсем вряд ли), но все таки весьма оптимистично. Я бы при таком раскладе и 6 секунд на магазин посчитал бы неплохим результатом.
Нужно видеть код.
Читать из одной переменной можно. Но, вопрос такой - она (эта переменная) изменяется по мере работы?
Анализ товара в магазине зависит как-то от анализа товаров, произведенных до него?
А почему вам многопроцессовость не подходит? Или celery например?
Нужно видеть код. В питоне нет многопоточности в классическом понимании. Ваша программа не будет быстрее с потоками. Тут нужно по другому проблему решать
По истории вижу вы не первый раз пытаетесь исправить программу. Напишите в личку. Попробую помочь
Питон отлично работает с осью. Не классическая многопоточность, но довольно быстро будет работать.
Т.е. из питона запускаем линуксовую команду на несколько потоков. Параллельно проверяя загрузку - если нет 50-60 процентов, до добавляем поток.
20 августа 2019
Может кто-то знаком с Cython? Есть предположения, что так получиться ускорить работу.
Тогда уж лучше на чистом с++.
20 августа 2019
Кому лучше? Прогнозирование тоже С++ будет делать? Или интерпретировать Python в С++?
Зачем? Чистый с++ сам справится. По вашему, на чем сделан Phytom? На сишке, но в ней нет нормальной многопоточности и ООП. Посему, более практично будет на плюсиках делать.
Хотя, думаю, что ваша задача решаема и на обычном РНР прямыми командами к серверу (только у хостера эту услугу тоже выпросить нужно, как и исполнение питоновских скриптов. Но, если у вас ВПС, то проблем нет - цикл и задержка с проверкой нагрузки и кол-ва потоков).
Если найт, на РНР, то я рекомендовал бы его и использовать - не стоит мешать в кучу несколько языков.
В проинципе, сам скриптик пишется за часа 2 (со всем, что вы указали). Отладка дня 2 займет.
Многопоточность в данном случае совершенно ни к чему.
Варианты:
- Сelery + несколько воркеров
- Любая шина данных + консьюмеры
Шановний, а перша частина (читання та чистка даних) йде окремо по кожному магазину чи одразу по усім 370 магазинам?
Чи не виявиться випадково що 35 хвилин йде послідовне читання та чистка, а решту 5 хвилин - аналітика та обробка даних?
Люблю нетривіальні задачі, але перш ніж братися хотів би бачити код. Краще - шліть в особисті повідомлення
22 августа 2019
Перша частина вибирає дані за всі магазини одразу. Це займає приблизно 1 хвилину.
Друга частина займає весь інший час.
22 августа 2019
У Вас закриті особисті повідомлення...
Добрый день. Хотелось бы ознакомиться с Вашим скриптом. Могли бы ли Вы отправить мне его (или хотя бы ту часть, которую следует распараллелить)?
Необходимо провести глубокую техническую проверку трех PDF-файлов на достоверность и возможные признаки редактирования или подделки. Нужна не только визуальная оценка документов. Исполнитель должен хорошо понимать внутреннюю структуру PDF-файлов и уметь анализировать: метаданные файлов; структуру PDF и отдельных объектов; историю создания и возможного редактирования; используемое программное обеспечение; встроенные шрифты, изображения, слои и другие элементы; возможные признаки повторного сохранения, конвертации, внесения изменений или формирования документа задним числом; любые технические несоответствия, которые могут свидетельствовать о манипуляциях с файлами. По результатам проверки необходимо предоставить понятный письменный вывод по каждому файлу с указанием выявленных признаков, рисков и ограничений проверки. Рассматриваем специалистов, имеющих практический опыт в цифровой криминалистике, анализе PDF-документов, метаданных или проверке электронных файлов на подлинность. В отзыве, пожалуйста, кратко опишите ваш опыт, методы и инструменты, которые вы используете для такой проверки.
Индикатор для использования в торговле должен определять определенные диапазоны с историей и анализировать их с текущими
Нужен опытный Python-разработчик для создания программы автоматизации работы с сайтом. Что должен делать бот: Авторизоваться в моем аккаунте на сайте. Постоянно (24/7) отслеживать появление новых заказов на работу. После появления нового заказа открывать его карточку. Анализировать информацию о заказе (тип работ, город, расстояние, описание). Автоматически принимать заказы, которые соответствуют заданным условиям. Если заказ не соответствует условиям, пропускать его. Отправлять уведомления в Telegram о принятых и пропущенных заказах. Требования: Python. Playwright (желательно) или Selenium. Работа через обычный браузер. Передача полного исходного кода после завершения проекта. Предоставление инструкции по установке и запуску. Обязателен опыт разработки подобных систем автоматизации. При отклике, пожалуйста, отправьте примеры аналогичных проектов.
Необходимо реализовать проект по сбору и структурированию большого массива изображений из открытых веб-источников (на первом этапе 2000 изображений). Задача включает: - автоматизированный сбор изображений; - загрузку файлов в максимально доступном качестве; - классификацию изображений по категориям. Ожидаемый результат: - структурированная база изображений; - понятная система каталогизации; - передача результата через Google Drive или другой согласованный способ;
РазработкаTelegram Mini App (Бот+ WebApp)дляпродажицифровыхтоваровиигровыхвалют(Python / aiogram) Описание проекта: Требуется разработать Telegram-бота с полноценным WebApp-интерфейсом для автоматизированной продажи цифровых товаров (Telegram Stars, Telegram Premium, игровые валюты/донаты для PUBG Mobile, Steam и др.). Проект называетсяAspect App. Главный упор на скорость работы, плавный UI/UX в стиле Web3/минимализма и полную автоматизацию выдачи товаров после оплаты. Стек технологий: Backend:Python 3.10+, aiogram 3.x (FastAPI для Webhook/API приветствуется). Database:PostgreSQL / Redis (для сессий и кэширования). Frontend (WebApp):React.js / Vue.js / Next.js (на усмотрение разработчика, важна скорость и плавность анимаций). Интеграции:Telegram WebApp API. Основной функционал (MVP): 1.Клиентскаячасть(Telegram Mini App): Главныйэкран:Категории товаров (Telegram Активы, Игровой Донат). Баннерная сетка для акций. Каталогтоваров:Карточки товаров с выбором объема (например: 50, 100, 500 Telegram Stars или UC). Поля для ввода данных игрока (Player ID для PUBG). КорзинаиОформление:Быстрая покупка в 2 клика. Модульоплаты:Интеграция платежных методов (CryptoBot API / TON Connect / другие фиатные шлюзы по согласованию). Личныйкабинет:История заказов, статус выполнения, реферальная система (баланс внутри приложения). 2.Административнаяпанель(встроеннаявWebAppилиотдельныйбот): Управление каталогом (добавление/удаление товаров, изменение цен). Мониторинг заказов и статистика продаж. Система рассылок по базе пользователей. 3.Логикаавтоматизации(Будетплюсом): Готовность архитектуры под интеграцию с API поставщиков (API для авто-закупки Stars/UC). На этапе MVP часть товаров может выдаваться кодами из базы данных. Что требуется от исполнителя: 1. Разработка архитектуры БД и бэкенда на Python. 2. Верстка и интеграция WebApp (дизайн-макет обсудим, важен чистый Web3-стиль, Glassmorphism). 3. Настройка безопасных транзакций и вебхуков оплаты. 4. Деплой на сервер (Docker, Ubuntu, настройка SSL). Требования к кандидату: Опыт коммерческой разработки Telegram WebApps от 1 года. Наличие портфолио с запущенными и работающими Mini Apps (скидывайте ссылки в отклике). Чистый, документированный код. Условия работы: Работа только через БезопаснуюСделку(Сейф/ Escrow)платформы. Оплата поэтапная (разбиваем проект на Спринт 1: Бэкенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Интеграция платёжек и тесты). Бюджет: Обсуждается с успешным кандидатом (указывайте вашу вилку цен и сроки в отклике)