Розробка системи оновлення БД сайту з даних постачальників

Доброго дня! 👋
Можу зробити окремий сервіс на FastAPI + Python, який буде щодня завантажувати CSV від постачальників та оновлювати таблицю з товарами в PerconaDB напряму, без прив’язки до CMS.
Передбачу логування, просту сторінку статусу та безпечне оновлення без блокування сайту.
Готовий обговорити деталі.

Вітаю! Напишу такий сервіс на Go. Але є питання стосовно співставлення товарів, як це буде відбуватися, чи є спільний атрибут? Є характеристики, фільтри… які треба також оновлювати, чи нас цікавить тільки ціна і залишок? Нові картки не створюємо? Оцінка орієнтовна

Маю великий досвід з PHP, Laravel/Symfony та роботою з великими CSV/SQL (100k+ записів), реалізовував подібні сервіси з оновлення даних через staging-таблиці та атомарне оновлення без блокування основної БД. Зможу зробити окремий сервіс у Docker, передбачити підтримку різних форматів (CSV, XML, API), додати сторінку статусу з логуванням, помилками та можливістю перезапуску. Гарантую надійність, масштабованість і прозору інтеграцію без прив’язки до CMS.

Я розроблю окремий сервіс, який щодня автоматично завантажуватиме CSV-файли від ваших постачальників, оновлюватиме таблицю з цінами та залишками без жодної прив’язки до CMS і без блокування роботи сайту. Система буде легко масштабуватись: ви зможете додати нових постачальників чи інші формати даних (XML, API, Excel). Буде реалізовано логування, надійний механізм відновлення у випадку помилки та зручна сторінка статусу з історією оновлень і можливістю ручного перезапуску процесу. Таким чином ви отримаєте стабільне та гнучке рішення для підтримки актуальності каталогу у великому інтернет-магазині.

Доброго дня.
У мене великий досвід створення високопродуктивних сервісів синхронізації даних на PHP, Node.js та Python, а також роботи з великими базами даних SQL (Percona/MySQL) у Docker-системах. Я можу розробити автономний сервіс, який надійно імпортуватиме CSV-дампи постачальників у ваші таблиці товарів без їх блокування, використовуючи пакетні оновлення та транзакційну безпеку для забезпечення цілісності даних. Система буде розроблена з урахуванням масштабованості та гнучкості, що дозволить легко інтегрувати нових постачальників та формати (CSV, XML, API, Excel) за допомогою налаштовуваних адаптерів. Я також створю панель моніторингу стану з журналами, історією оновлень, повідомленнями про помилки та можливістю перезапуску для повної прозорості та контролю. Це забезпечить повну працездатність вашого магазину під час оновлень, підтримуючи надійну автоматизовану синхронізацію залишків та цін.

Показати оригінал

Перекласти

Що зроблю (коротко)

Окремий сервіс в Docker (Python 3.11 + FastAPI) без прив’язки до CMS.

Щоденний імпорт CSV від 3 постачальників (40–80k рядків/файл) з можливістю легко додати нові джерела (CSV/XML/Excel/API).

Безблокове оновлення цін/залишків у PerconaDB: інкрементні UPSERT-и з батчами, staging-таблиці, атомарні свопи/merge, індекси під оновлення.

Сторінка статусу/адмінка: останній запуск, скільки оновлено/пропущено, помилки, ручний перезапуск.

Доброго дня. Великий досвід подібних розробок. Що хотілося б, одразу написати. Не можливо написати, рішення під будь-якого донора, яким легко керувати. Різні донори, різні формати, різні структури і т.п. Даремно витратите час і гроші. Звертайтеся, якщо Вам потрібен якісний і зрозумілий продукт.

Показати оригінал

Перекласти

Доброго дня.
Можу написати сервіс на C# та засунути його в докер.
Буде працювати коли будете загружати файли в нього.
Зроблю rest api доступ для зручності, або можу зробити невелику web сторінку.
Додаткові формати потрібно дивитись, може бути додаткова робота.