Решение проблемы с многопоточностью Python
Проект на питоне, есть внешняя база данных более 500 000 данных о товарах с остатками, база растет,
мы парсим остатки (данные) с какой то периодичностью и обновляем у себя,
проблема в том, что время на цикл парсинга большой и мы не успеваем спарить все данные за 15 минут,
а обновить остатки (данные) нужно в это время. Пробовали многопоточность но она выполняется последовательно, все равно долго.
Кто сможет решить проблему?
-
7 days3000 RUB
227 5 0 7 days3000 RUB
Добрый день. Выполню заказ быстро и качественно. есть middle-знания Python, так что обговорить доп. вопросы и условия можно в ЛС
-
2 days750 RUB
463 8 0 2 days750 RUB
Здравствуйте, готов помочь вам в вашей ситуации. Хотелось бы уточнить пару вопросов в личных сообщениях
-
7 days3000 RUB
7 days3000 RUB
Готов заняться задачей, но, судя по всему, проблема - не (или не только) в многопоточности. Нужны будут сведения о структуре базы и алгоритмах, которые вы используете.
-
1 day1500 RUB
216 4 0 1 day1500 RUB
Программирую на python 3 года, могу помочь настроить многопоточность. Что вы сделали что у вас многопоточность выполняется последовательно? Можно подробнее в лс?
-
freelancer isn't working in the service any longer
-
Потрібно не много поточность , а мультипроцесорність , плюс інший підхід до БД , теж можна взяти мультипроцесорність sql
-
многопоточность ... выполняется последовательно
Это как ?!!!
Здесь работает "Принцип каравана": караван судов движентся со скоростью самого тихоходного судна. Поэтому, прежде чем что-то решать, надо разобраться, кто тормозит:
- Может вы к серверу подключены по низкоскоростному иНету? Смотрите загрузку сетевого оборудования.
- Тормозит сам сервер - большая задержка между поступлением запроса и ответом. Смотрите логи на сервере.
- Может тормозить парсер ответов от сервера. Нужно таймирование
- Может тормозить модуль обновления таблиц на сервере.
Короче - надо искать причину!
Tajikistan