ETL конвейер для прогнозирования (ERP -> BigQuery -> Power BI)

#Data-Platform для автоматизации прогнозирования закупок в производственной компании.

Полная разработка с нуля: проектирование архитектуры, построение #ETL-пайплайна, интеграция с #ERP и настройка аналитической панели.

Интеграция данных:
— подключение к ERP через #REST API
— инкрементальная загрузка данных с сохранением истории
— обработка ошибок API (retry, логирование)
— интеграция ARIMA-модели (#R-скрипт) с BigQuery

Хранение и обработка:
— проектирование #DWH в BigQuery
— расчет остатков товаров по складам
— трансформация сырых данных в аналитические таблицы

Автоматизация:
— запуск #ETL процессов по расписанию (#GCP Cloud Scheduler)
— ночной #pipeline: обновление данных —> запуск модели —> обновление отчетности

Визуализация:
— построение новых и адаптация существующих панелей в Power BI для анализа остатков и прогнозов

Особенности:
— замена ручного учета в Excel
— стабильное ежедневное обновление данных без участия менеджера
— минимизированное расхождение данных между ERP и #BI после многих тестов

Стек: #Python, #BigQuery, #GoogleCloud, #PowerBI, #RScript, #REST, #Docker