Integracja KeyCRM z BigQuery dla e-commerce

Zautomatyzowany system do importu, przetwarzania i analizy zamówień sklepu internetowego z integracją KeyCRM i Google BigQuery.
Zrealizowano pełną synchronizację zamówień, produktów, płatności, pól niestandardowych oraz danych marketingowych.
Dane z KeyCRM przechodzą oczyszczanie, normalizację, powiązanie z dodatkowymi bytami i są eksportowane do BigQuery w celu budowy raportów, analizy i BI.

Kluczowe możliwości:

Import zamówień, produktów, klientów, menedżerów, płatności, danych marketingowych z KeyCRM przez OpenAPI.

Przetwarzanie pól niestandardowych zamówienia (custom_fields) z obsługą wartości dla każdego zamówienia.

Przechowywanie i aktualizacja danych w MySQL (Django ORM) z obsługą migracji i logiki idempotentnej.

Eksport zamówień do Google BigQuery z automatycznym tworzeniem i aktualizowaniem schematu tabeli.

Operacje MERGE dla UPSERT w BigQuery: nowe i zaktualizowane zamówienia synchronizowane są bez duplikacji.

Lokalne lustro zamówień dla szybkiej analizy i porównania danych.

Wsparcie dla złożonych powiązań: produkty w zamówieniu, niestandardowe powody anulowania/wymiany/zwrotu, komentarze menedżera.

Panel administracyjny Django z wygodnym przeglądaniem i edytowaniem wszystkich bytów.

Technologie:

Python 3.12, Django 5.x, MySQL, Google BigQuery, REST API (KeyCRM), Celery, Docker.

Pełne wsparcie dla migracji, idempotentnych aktualizacji, transakcji.

Logowanie, obsługa błędów, automatyczne testy.

Wynik:

System pozwala firmie uzyskiwać aktualne, czyste i uporządkowane dane o zamówieniach do analizy, raportowania i BI, automatyzować eksport do chmury, śledzić przyczyny zwrotów/anulacji, budować raporty według pól niestandardowych i kanałów marketingowych.