Интеграция KeyCRM с BigQuery для e-commerce

Автоматизированная система для импорта, обработки и аналитики заказов интернет-магазина с интеграцией KeyCRM и Google BigQuery.
Реализована полная синхронизация заказов, товаров, платежей, кастомных полей и маркетинговых данных.
Данные из KeyCRM проходят очистку, нормализацию, связывание с дополнительными сущностями и экспортируются в BigQuery для построения отчетов, аналитики и BI.

Ключевые возможности:

Импорт заказов, товаров, покупателей, менеджеров, платежей, маркетинговых данных из KeyCRM через OpenAPI.
Обработка пользовательских полей заказа (custom_fields) с поддержкой значений для каждого заказа.
Хранение и обновление данных в MySQL (Django ORM) с поддержкой миграций и idempotent-логики.
Экспорт заказов в Google BigQuery с автоматическим созданием и обновлением схемы таблицы.
MERGE-операции для UPSERT в BigQuery: новые и обновленные заказы синхронизируются без дублирования.
Локальное зеркало заказов для быстрой аналитики и сверки данных.
Поддержка сложных связей: товары в заказе, кастомные причины отмены/обмена/возврата, комментарии менеджера.
Админка Django с удобным просмотром и редактированием всех сущностей.
Технологии:

Python 3.12, Django 5.x, MySQL, Google BigQuery, REST API (KeyCRM), Celery, Docker.
Полная поддержка миграций, idempotent-обновлений, транзакций.
Логирование, обработка ошибок, автоматические тесты.
Результат:
Система позволяет бизнесу получать актуальные, чистые и структурированные данные о заказах для аналитики, отчетности и BI, автоматизировать экспорт в облако, отслеживать причины возвратов/отмен, строить отчеты по кастомным полям и маркетинговым каналам.