ETL pipeline do prognozowania (ERP -> BigQuery -> Power BI)

#Data-Platform do automatyzacji prognozowania zakupów w firmie produkcyjnej.

Pełny rozwój od podstaw: projektowanie architektury, budowa #ETL-pipeline, integracja z #ERP oraz konfiguracja analitycznego dashboardu.

Integracja danych:
— podłączenie do ERP przez #REST API
— inkrementalne ładowanie danych z zachowaniem historii
— obsługa błędów API (retry, logowanie)
— integracja modelu ARIMA (#R-skrypt) z BigQuery

Przechowywanie i przetwarzanie:
— projektowanie #DWH w BigQuery
— obliczanie stanów towarów w magazynach
— transformacja surowych danych w analityczne tabele

Automatyzacja:
— uruchamianie procesów #ETL według harmonogramu (#GCP Cloud Scheduler)
— nocny #pipeline: aktualizacja danych —> uruchomienie modelu —> aktualizacja raportów

Wizualizacja:
— budowa nowych i adaptacja istniejących dashboardów w Power BI do analizy stanów i prognoz

Cechy szczególne:
— zastąpienie ręcznego prowadzenia w Excelu
— stabilna codzienna aktualizacja danych bez udziału menedżera
— zminimalizowana rozbieżność danych między ERP a #BI po wielu testach

Stos: #Python, #BigQuery, #GoogleCloud, #PowerBI, #RScript, #REST, #Docker