Разработка системы обновления БД сайта из данных поставщиков
Действующий интернет-магазин, ориентировочно 100 тыс. товаров. CMS самописная, PHP, однако привязки к ней не должно быть. Сервер на базе Ubuntu, все сервисы сервера в Docker-контейнерах, SQL - Percona DB
Поставщики предоставляют ежедневные выгрузки данных (остатки и цены) в виде CSV-файлов, которые нужно обновлять непосредственно в SQL-таблицы с товарами, обходя CMS самого сайта.
Необходимо:
Сделать отдельный сервис (не зависит от нашей CMS), который ежедневно берет CSV-файлы от поставщиков, обновляет таблицу с ценами/остатками и не мешает покупателям просматривать сайт.
Сейчас есть 3 поставщика, каждый из которых предоставляет CSV-файлы (40-80 тыс. записей в одном файле). В дальнейшем должно быть легко добавить новых поставщиков и новые форматы входных данных (API, XML, Excel).
Должен быть простой экран или страница статуса: видно, когда загружено, сколько товаров обновлено, были ли ошибки, возможность перезапустить обновление.
Важно:
Во время обновления основная таблица с товарами не должна блокироваться.
Обновления должны быть надежными: если что-то пошло не так, можно повторить, не сломав данные.
Логирование обновлений
-
1 день500 UAH
1 день500 UAH
Здравствуйте, имею большой опыт в data engineering: работаю с различными базами данных, etl/elt пайплайны и т.д. Куда ваши поставщики загружают файлы с данных? Загрузка происходит ежедневно 1 раз в день и чаще? Можно также взглянуть на структуру файлов (они одинаковые или нет?)? Для всех дополнительных вопросов пишите личным сообщением. Буду рада сотрудничеству.
-
14 дней9000 UAH
487 4 0 14 дней9000 UAH
Добрый день! 👋
Могу сделать отдельный сервис на FastAPI + Python, который будет ежедневно загружать CSV от поставщиков и обновлять таблицу с товарами в PerconaDB напрямую, без привязки к CMS.
Предусмотрю логирование, простую страницу статуса и безопасное обновление без блокировки сайта.
Готов обсудить детали.
-
14 дней11 000 UAH
4272 25 0 14 дней11 000 UAH
Привет! Напишу такой сервис на Go. Но есть вопрос относительно сопоставления товаров, как это будет происходить, есть ли общий атрибут? Есть характеристики, фильтры… которые тоже нужно обновлять, или нас интересует только цена и остаток? Новые карточки не создаем? Оценка ориентировочная
-
5 дней10 000 UAH
3193 115 2 5 дней10 000 UAH
У меня большой опыт работы с PHP, Laravel/Symfony и с большими CSV/SQL (100k+ записей), реализовывал подобные сервисы по обновлению данных через staging-таблицы и атомарное обновление без блокировки основной БД. Смогу сделать отдельный сервис в Docker, предусмотреть поддержку различных форматов (CSV, XML, API), добавить страницу статуса с логированием, ошибками и возможностью перезапуска. Гарантирую надежность, масштабируемость и прозрачную интеграцию без привязки к CMS.
-
10 дней10 000 UAH
2161 4 2 10 дней10 000 UAH
👋 Приветствуем!
Мы Skillwave Global LLP — команда из Великобритании, которая помогает бизнесам запускать эффективные цифровые продукты: от сайтов и интернет-магазинов до сложных систем.
📈 В вашем случае мы можем разработать отдельный сервис для обновления цен и остатков от поставщиков, который:
автоматически ежедневно обрабатывает CSV-файлы (40–80 тыс. записей),
непосредственно обновляет таблицы в PerconaDB, минуя CMS,
… не блокирует работу интернет-магазина во время обновления,
позволяет легко добавлять новых поставщиков и форматы (CSV, XML, Excel, API),
имеет страницу статуса: дата последней загрузки, количество обновленных товаров, ошибки, возможность повторного запуска,
с системой логирования и надежными механизмами восстановления в случае сбоев.
✅ Что мы предлагаем:
• Полная вебразработка (Frontend / Backend / WordPress / CMS)
• Разработка сервисов в Docker-среде с интеграцией на ваш Ubuntu-сервер
• UI/UX-дизайн в Figma с акцентом на удобство
• Быстрая загрузка, адаптивность, SEO — по умолчанию
• Поддержка и развитие проекта после запуска
💼 Работаем прозрачно, официально и ориентировано на результат.
Готовы обсудить ваш проект и уже в ближайшие дни предложить концепцию с пошаговым планом!
🙌 Вот наши работы и отзывы:
Freelancehunt
-
5 дней8000 UAH
4188 46 0 5 дней8000 UAH
Я разработаю отдельный сервис, который ежедневно автоматически загружать CSV-файлы от ваших поставщиков, обновлять таблицу с ценами и остатками без какой-либо привязки к CMS и без блокировки работы сайта. Система будет легко масштабироваться: вы сможете добавить новых поставщиков или другие форматы данных (XML, API, Excel). Будет реализовано логирование, надежный механизм восстановления в случае ошибки и удобная страница статуса с историей обновлений и возможностью ручного перезапуска процесса. Таким образом, вы получите стабильное и гибкое решение для поддержки актуальности каталога в большом интернет-магазине.
-
3 дня10 000 UAH
307 3 дня10 000 UAH
Здравствуйте.
У меня большой опыт создания высокопроизводительных сервисов синхронизации данных на PHP, Node.js и Python, а также работа с большими базами данных SQL (Percona/MySQL) в Docker-системах. Я могу разработать автономный сервис, который будет надёжно импортировать CSV-дампы поставщиков в ваши таблицы товаров без их блокировки, используя пакетные обновления и транзакционную безопасность для обеспечения целостности данных. Система будет разработана с учётом масштабируемости и гибкости, что позволит легко интегрировать новых поставщиков и форматы (CSV, XML, API, Excel) с помощью настраиваемых адаптеров. Я также создам панель мониторинга состояния с журналами, историей обновлений, сообщениями об ошибках и возможностью перезапуска для полной прозрачности и контроля. Это обеспечит полную работоспособность вашего магазина во время обновлений, поддерживая надёжную автоматизированную синхронизацию остатков и цен.
-
5 дней5000 UAH
4028 11 0 2 5 дней5000 UAH
Что сделаю (кратко)
Отдельный сервис в Docker (Python 3.11 + FastAPI) без привязки к CMS.
Ежедневный импорт CSV от 3 поставщиков (40–80k строк/файл) с возможностью легко добавить новые источники (CSV/XML/Excel/API).
Безблоковое обновление цен/остатков в PerconaDB: инкрементные UPSERT-ы с батчами, staging-таблицы, атомарные свопы/слияния, индексы под обновление.
Страница статуса/админка: последний запуск, сколько обновлено/пропущено, ошибки, ручной перезапуск.
-
3 дня10 000 UAH
1328 35 1 3 дня10 000 UAH
Добрый день. Большой опыт подобных разработок. Что хотелось бы, сразу написать. Не возможно написать, решение под любого донора, которым легко управлять. Разны доноры, разные форматы, разные структуры и т.п. Зря потеряете время и деньги. Обращайтесь, если Вам нужен качественный и понятный продукт.
-
1 день10 000 UAH
913 29 0 1 день10 000 UAH
Добрый день.
Могу написать сервис на C# и запустить его в докере.
Будет работать, когда вы будете загружать файлы в него.
Сделаю rest api доступ для удобства, или могу сделать небольшую веб-страницу.
Дополнительные форматы нужно смотреть, может быть дополнительная работа.
Актуальные фриланс-проекты в категории Базы данных и SQL
Power BI
700 UAH
Дашборд работает на гугл сервере, нужно перенести всю логику+код Какие нужны скиллы: развертывание etl процессов на linux сервере + работа с BigQuery и Postgre Есть рабочий код, который работает на google, где есть сама БД, нужно перенести на другой сервер, возможно переписать… Python, Базы данных и SQL ∙ 15 часов 4 минуты назад ∙ 13 ставок |
Нужен специалист 1С для доработок и разработкиИщу специалиста по 1С для сотрудничества на фрилансе. В настоящее время уже работаю с подрядчиком, который обеспечивает поддержку и обслуживание системы 1С. Однако из-за загруженности подрядчика возникает необходимость в оперативном выполнении дополнительных задач, доработок и… Базы данных и SQL ∙ 2 дня 14 часов назад ∙ 11 ставок |
Восстановление инстаграм после блокировки3 марта 2026 г заблокировали инстаграм с причиной нарушения правил. Считаю произошла какая то ошибка, так как страничка была личной с фото и видео личных поездок. Коментарии и тд я не писала нигде. Отправляла несколько раз на обжалование. Не могу скачать свои файлы, так как не… Базы данных и SQL, Веб-программирование ∙ 3 дня 1 час назад ∙ 5 ставок |
Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С:
2000 UAH
Цель: Есть обработка в 1с по загрузке спецификации Новой почти. По непонятнім причинам перестало подгружать некоторіе табличніе данніе Нужно найти причину и Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С: Малый Бизнес. Текущее… Администрирование систем и сетей, Базы данных и SQL ∙ 6 дней 8 часов назад ∙ 16 ставок |
Система учета, планирования и продажи для грибной фермы
27 000 UAH
Это полный, финальный текст Технического задания (ТЗ). Он объединяет все ваши требования: 16 камер, 20 контрагентов, расписание по дням, учет тары, расчет рентабельности и обязательное деление на три сорта грибов. Вы можете полностью скопировать этот текст и отправлять… Базы данных и SQL, Управление клиентами и CRM ∙ 8 дней 12 часов назад ∙ 61 ставка |
Львов