1. Используя платформу Data Science and Machine Learning (любую на выбор Knime, RapidMiner, Trifacta, Loginom) выполнить консолидацию данных кейса (датасет прилагается), провести очистку, трансформацию данных (ETL), выполнить preprocessing данных (https://www.sv-europe.com/crisp-dm-methodology/). Обучить и оценить по метрикам качества модели машинного обучения (использовать различные алгоритмы); сравнить полученные результаты. Обогатить данные кейса результатами машинного обучения (ABC-XYZ, RFM-анализ, задачи классификации, регрессии, кластеризации – одна или все на выбор исходя из данных кейса). Экспортировать подготовленный датасет в BigQuery (или в формате .csv в Google Drive).
2. В Colab (подключившись к BigQuery или используя подготовленный датасет .csv в Google Drive) провести EDA с использованием любую библиотеку Python (pandas-profiling, dataprep, Sweetviz или другую), обучить и сравнивать модели машинного обучения с использованием библиотеки scikit-learn (или LightGBM, XGBoost, CatBoost, h2o-3, AutoGluon, PyCaret используя алгоритмы регрессии, градиентного бустинга, случайного леса). Провести прогнозирование ответа лучшей модели на новых данных (сгенерировать самостоятельно используя исходные данные). Сравнить результаты полученные в платформах Data Science and Machine Learning.
На выбор 3, 4, 5 пункты: в любой из BI-платформ (но лучше во всех трех):
3. Подключившись к BigQuery (или использовать подготовленный датасет) создать в Power BI Desktop выражения KPI с использованием выражений анализа данных (DAX), разработать несколько отчетов в Power BI, опубликовать его в корпоративном облачном сервисе Power BI. Выявить инсайты, оформить их в “закладках”, создать информационные панели мониторинга в Power BI. Провести машинное обучение. Сравнить результатами полученными в платформах DSML и Colab. Внедрить интерактивные отчеты в Colab.
4. В Tableau Desktop (скачать триальную версию) подключившись к BigQuery (или использовать подготовленный датасет) построить дашборды, выявить инсайты, оформить истории (Story), опубликовать в своем аккаунте в Tableau Public, внедрить интерактивные отчеты в Colab.
5. Подключившись к BigQuery (или использовать подготовленный датасет) создать в Qlik Sense выражения KPI с использованием языка выражений анализа множеств, используя интеллектуальный помощник, создать дашборды, выявить инсайты и создать повествования данных (сторителлинг), опубликовать в потоке Qlik Sense Cloud в своем аккаунте, отправить на проверку преподавателю (предоставить доступ).
6. В BigQuery создать, обучить и оценить по метрикам качества модели машинного обучения используя SQL; создать интерактивный отчет в data Studio и внедрить в Colab.
Примечание: поскольку проект предназначен для сдачи зачета (с оценкой) в вузе, необходимо прокомментировать все производимые в ходе его выполнения шаги. В целом ничего сверхъестественного не требуется, нужна просто добротная студенческая работа.
Budget: 22000 RUB Deadline: 7 days
Добрый вечер, заинтересовал ваш проект, буду рад помочь.
С уважением, Сергей
Добрый вечер.
Задание большое и довольно странно написанное.
Например:
"Обогатить данные кейса результатами машинного обучения (ABC-XYZ, RFM-анализ, задачи классификации, регрессии, кластеризации ..."
ABC-XYZ, RFM-анализ не относятся к машинному обучению.
"Провести прогнозирование ответа лучшей модели" - это плохой машинный перевод, может в оригинале будет понятнее?
"разработать несколько отчетов в Power BI" - каких именно отчетов?
"создать информационные панели мониторинга" - данные статичны, мониторить их бессмысленно.
И т.п.
У вас есть материалы курса, чтоб понять, что именно и в каком контексте вы изучали?
В целом понятно, что речь идет скорее всего о прогнозировании продаж.
Задание должно быть выполнено до конца месяца?
С уважением, Сергей.
22 January 2022
Здравствуйте, то что странное, вполне согласен. Могу прислать образец выполнения работы (Google-документ), кстати именно по этому датасету. Примерно что-то такое требуется.
22 January 2022
Крайний срок - до вечера 30.01.2022.
22 January 2022
Это итоговая работа по курсу "Анализ больших данных", машинное обучение это его часть.
Спасибо за ссылку, стало понятнее.
На выбор пункты 4-6 (не 4-5), полагаю?
22 January 2022
На выбор 3, 4, 5 пункты: в любой из BI-платформ (Power BI, Tableau или Qlik). Видимо, все-таки так это нужно понимать...
В отчете по ссылке все заканчивается оценкой эффективности моделей
"Примерно такие же результаты были получены с помощью RapidMainer и Knime".
Т.е. были использованы 2 платформы из первого пункта, пункт 6 опущен.
В отчете по ссылке все заканчивается оценкой эффективности моделей
"Примерно такие же результаты были получены с помощью RapidMainer и Knime".
Т.е. были использованы 2 платформы из первого пункта, пункт 6 опущен.
22 January 2022
6-й пункт желателен, но не обязателен.
22 January 2022
С кодом SQL возиться - сомнительное удовольствие, согласен.
С sql как раз проблем нет, у BigQuery конечно своеобразный подход к этому всему, но жить можно. Я просто уточнил.
22 January 2022
Судя по задаче, BigQuery можно и не использовать, заменив на Google Drive (датасет оттуда брать)?
22 January 2022
Вопрос только: что прогнозировать. Если Profit или Sales, то банально. В RapidMiner R2 выдает больше 0.97. Если как в этом образце - дисконт, скажут "плагиат". Нужно соригинальничать, другое выбрать, чтобы метрики (прежде всего R2) достаточно были в моделях. Но в крайнем случае - можно Profit и Sales оставить. Вообще это задание, как я понял, нужно для демонстрации владения платформами МО и визуализации, а также умения интерпретировать полученные результаты и делать на их основе выводы...
Можно попробовать количество прогнозировать в зависимости от товара, года и месяца. Типа для складской логистики и пр. Дисконт -- довольно сомнительное решение, как по мне.
22 January 2022
Согласен, с зарплатами там у нее интересные посылы (типа получают вне зависимости от продаж), если это так, фишка найдена интересная.
Меня смущает продающий президент.
22 January 2022
Ничего страшного - он же не гостайну продает...
С гостайной было бы понятнее, но в отчетах это обычно не отражается.
22 January 2022
Датасет игрушечный, учебный, что с него взять?
Логичность, как минимум.
22 January 2022
Думаю, в определенных случаях некоторыми колонками можно будет пренебречь (без ущерба для метрик)
22 January 2022
Сергей, Вы еще здесь?
Да, я тут
22 January 2022
Что-то еще смущает?
22 January 2022
Я до утра отключаюсь, жду Вашего решения.
