Інтеграція KeyCRM з BigQuery для e-commerce

Автоматизована система для імпорту, обробки та аналітики замовлень інтернет-магазину з інтеграцією KeyCRM та Google BigQuery.
Реалізовано повну синхронізацію замовлень, товарів, платежів, кастомних полів та маркетингових даних.
Дані з KeyCRM проходять очищення, нормалізацію, зв'язування з додатковими сутностями та експортуються до BigQuery для побудови звітів, аналітики та BI.

Ключові можливості:

Імпорт замовлень, товарів, покупців, менеджерів, платежів, маркетингових даних із KeyCRM через OpenAPI.

Обробка користувацьких полів замовлення (custom_fields) з підтримкою значень для кожного замовлення.

Зберігання та оновлення даних у MySQL (Django ORM) з підтримкою міграцій та idempotent-логіки.

Експорт замовлень до Google BigQuery з автоматичним створенням та оновленням схеми таблиці.

MERGE-операції для UPSERT у BigQuery: нові та оновлені замовлення синхронізуються без дублювання.

Локальне дзеркало замовлень для швидкої аналітики та звіряння даних.

Підтримка складних зв'язків: товари в замовленні, кастомні причини скасування/обміну/повернення, коментарі менеджера.

Адмінка Django зі зручним переглядом та редагуванням усіх сутностей.

Технології:

Python 3.12, Django 5.x, MySQL, Google BigQuery, REST API (KeyCRM), Celery, Docker.

Повна підтримка міграцій, idempotent-оновлень, транзакцій.

Логування, обробка помилок, автоматичні тести.

Результат:

Система дозволяє бізнесу отримувати актуальні, чисті та структуровані дані про замовлення для аналітики, звітності та BI, автоматизувати експорт у хмару, відстежувати причини повернень/скасувань, будувати звіти за кастомними полями та маркетинговими каналами.