Привет.
Задача такая:
Есть 4 файла. Найти эти файлы можно по ссылке: https://drive.google.com/drive/folders/1hFnB8Ylf9aZ0jPTv1ltkLOgRCsk-sD65 . В этих файлах есть разная информация.
Задача:
Весь препроцессинг данных перед тем, как подавать их на обучающий алгоритм, надо сделать с помощью Apache Spark. Смерджить данные надо по ключу Year и стране Philippines (если в файле данные по нескольким странам).
На выходе должен быть DataFrame с данными:
1. Year (ключ, по которому надо мерджить файлы)
2. Smoking prevalence, total (ages 15+) (% of adults) - Эта колонка есть в файле smoking-prevalence.csv
3. TotalPopulation. Есть в файле population-growth.csv
4. Cigarette consumption per smoker per day (cigarettes). Есть в файле consumption-cigarettes-per_day.csv
5. INTERNATION DOLLARS Есть а файле retail-price-for-a-pack-of-20-cigarette.xlsx
Данные нужно отобразить за годы: 2008 - 2018. Часть данных пропущена, по этому их нужно будет интерполировать.
Результатом работы должен быть алгоритм, который я смогу запустить в редакторе кода для Python и он даст мне ДатаФрейм описанный выше.
Думаю, что задача несложная для тех, у кого есть опыт со Apache Spark. Но, она срочная.
По стоимости - не знаю сколько такая работа может стоить, по этому, пишите примерный бюджет
