Лабораторна робота по Системи data science

1.1Розуміння бізнесу —розуміння даних:–визначення предметної області для дослідження і попередня постановка задачі моделюванняв рамках конкретного контексту з обраної предметної області; (типові задачі моделювання)–збір/вибір сирих даних з будь-яких відкритих ресурсів (використання відповідних APIs, завантаження наборів даних вручну);–збереженняресурсів даних які потрібні для вирішення конкретної задачі, в певному форматі (наприклад, у випадку APIs):табличні дані CSV, або інший формат з роздільниками, файли електронних таблиць Excel (.xls, .xslsx), OpenDocument (.ods), тощо (бібліотека pandasнадає широкий функціонал керування даними в табличному вигляді —dataframe);–візуалізація (елементарний опис зібраного набору даних: характеристики записів (features), кількість записів і т.д., наприклад,
9pandasфункція info) ідокументування результатів/документування класів бізнес-профіля Еріксона-Пенкера.
1.2Підготовка даних:–первинна очистка даних (pandas):oприведення даних до стандартних форматів (числові, текстові формати, усунення objects);oвидалення записів-дублікатів;oусунення NaN, Nullзначень (наприклад, заміна на середні значення відповідних характеристик або видалення записів з NaN, Nullзначеннями);–розвідувальний аналіз даних —EDA, Exploratory Data Analysis(matplotlib, seaborn):oзастосування описової статистики —розрахунок середніх арифметичних, дисперсій, мод, медіан усіх характеристик (наприклад, pandasфункція describe);oпроведення кореляційного та причинно-наслідкового аналізів (наприклад, див. pandasфункцію corr, seabornфункції heatmap, pairplot, jointplot);oтощо;–конструювання ознак (feature engineering) на основі проведеного EDA (за необхідності):oвидалення зайвих характеристик;oпоєднання/композиція (наприклад, визначення нової характеристики як добуток існуючих характеристик та , тобто ) характеристик у нові, нелінійні;oкодування категоріальних (categorical) характеристик (наприклад, one-hot encoding, pandasфункція get_dummies, звернути увагу на тип даних categorical);–розбиття набору даних на тренувальний, валідаційний (за необхідності) та тестовий набори даних (наприклад, scikit-learnфункція train_test_split);–візуалізація і документування результатів/документування класів бізнес-профіля Еріксона-Пенкера.
1.3Верифікація і валідація.
1.4Висновки