Оптимизация работы с базой данных
500 UAHЕсть массив в pandas 350.000 строк, 11 столбцов, нужно его выгружать в таблицу в базу данных mysql
Затем данные из этой таблицы перенести в другую и обновить их там если есть конфликты ( там есть индексы уникальности при провале которых нужно будет обновить определенные колонки )
Сейчас код на сервере digital ocean выполняется за 30 секунд, что неприемлимо
Пожалуйста пишите кто может сделать что бы операция такая проходила как можно быстрее
Код написан на питоне. Характиристики сервера - 2 vCPUs 2GB / 60GB Disk ($18/mo)
В целом скажите реально ли проделать такую операцию за секунду или меньше?
Кейс - берем курсы валют из csv файла и их нужно передать в базу данных обновив её и проставив там новое время.
Проект мой, не коммерческий, бюджет крайне маленький.
-
2 дня1500 UAH
135 2 0 2 2 дня1500 UAH
Здравствуйте. Можно попытаться оптимизировать код. Не факт что будет одна Секунда, но можно попытаться сократить это время до 10 или даже 5 секунд
-
А можете предоставить копию этой БД с дампом и скриптом?
Раз уж некоммерческий... -
отправил дамп
-
Код написан на питоне.Характиристики сервера - 2 vCPUs 2GB / 60GB Disk ($18/mo)
///если диск не ссд, то вообще не установить ли себе дома с оплатой айпи да трафика при
\\\ 2Гб оперативки - сколько же чему выделено
/// да и проц неизвестных характеристик. вобщем много ньюансов
как по вашему 350тыс.строк и немало столбцов
должны пройти за секунду ? -
Код написан на питоне. И окажется, что не только в нем причина.
может лучше код выложить ?
-
а можно и мне csv файл, кусок кода на питоне и таблицу, куда все потом попадает
-
Актуальные фриланс-проекты в категории Базы данных и SQL
Дашборд на Dune AnalyticsРеференс по стилю: dune.com/filarm/polymarket-activity Задача Собрать аккуратный, визуально приятный дашборд на Dune по нашему боту для Polymarket. На данном этапе используются демонстрационные (синтетические) данные — они генерируются программно, но выглядят логично и… Базы данных и SQL ∙ 9 часов 28 минут назад ∙ 9 ставок |
Power BI
700 UAH
Дашборд работает на гугл сервере, нужно перенести всю логику+код Какие нужны скиллы: развертывание etl процессов на linux сервере + работа с BigQuery и Postgre Есть рабочий код, который работает на google, где есть сама БД, нужно перенести на другой сервер, возможно переписать… Python, Базы данных и SQL ∙ 1 день 3 часа назад ∙ 15 ставок |
Нужен специалист 1С для доработок и разработкиИщу специалиста по 1С для сотрудничества на фрилансе. В настоящее время уже работаю с подрядчиком, который обеспечивает поддержку и обслуживание системы 1С. Однако из-за загруженности подрядчика возникает необходимость в оперативном выполнении дополнительных задач, доработок и… Базы данных и SQL ∙ 3 дня 3 часа назад ∙ 11 ставок |
Восстановление инстаграм после блокировки3 марта 2026 г заблокировали инстаграм с причиной нарушения правил. Считаю произошла какая то ошибка, так как страничка была личной с фото и видео личных поездок. Коментарии и тд я не писала нигде. Отправляла несколько раз на обжалование. Не могу скачать свои файлы, так как не… Базы данных и SQL, Веб-программирование ∙ 3 дня 14 часов назад ∙ 5 ставок |
Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С:
2000 UAH
Цель: Есть обработка в 1с по загрузке спецификации Новой почти. По непонятнім причинам перестало подгружать некоторіе табличніе данніе Нужно найти причину и Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С: Малый Бизнес. Текущее… Администрирование систем и сетей, Базы данных и SQL ∙ 6 дней 21 час назад ∙ 16 ставок |
Харьков