ETL pipeline для прогнозувань (ERP -> BigQuery -> Power BI)

#Data-Platform для автоматизації прогнозування закупівель у виробничій компанії.

Повна розробка з нуля: проєктування архітектури, побудова #ETL-пайплайн, інтеграція з #ERP та налаштування аналітичного дашборду.

Інтеграція даних:
— підключення до ERP через #REST API
— інкрементальне завантаження даних із збереженням історії
— обробка помилок API (retry, логування)
— інтеграція ARIMA-моделі (#R-скрипт) з BigQuery

Зберігання та обробка:
— проєктування #DWH у BigQuery
— розрахунок залишків товарів по складах
— трансформація сирих даних в аналітичні таблиці

Автоматизація:
— запуск #ETL процесів за розкладом (#GCP Cloud Scheduler)
— нічний #pipeline: оновлення даних —> запуск моделі —> оновлення звітності

Візуалізація:
— побудова нових і адаптація існуючих дашбордів у Power BI для аналізу залишків і прогнозів

Особливості:
— заміна ручного обліку в Excel
— стабільне щоденне оновлення даних без участі менеджера
— мінімізована розбіжність даних між ERP та #BI після багатьох тестів

Стек: #Python, #BigQuery, #GoogleCloud, #PowerBI, #RScript, #REST, #Docker