Python | Автоматизация Сбора и Анализа Данных
8872 UAHОбщие требования:
Цель: Мне нужно, чтобы программа автоматически извлекала данные в формате Excel-таблиц из email, обрабатывала их (включая объединение и стандартизацию данных), а затем загружала результаты в базу данных BigQuery.
Неопределенности: Я не специалист в технологиях, поэтому пока не знаю, как это должно выглядеть — как скрипт, который я смогу запускать со своего компьютера, приложение или сервис, работающий на сервере. Я рассчитываю, что вы подскажете, как сделать это лучше — на моем компьютере, сервере или в облаке.
Гибкость и поддержка: Важно, чтобы программа была простой в использовании и в будущем ее можно было легко адаптировать или изменять при необходимости. Потребуется инструкция по развертыванию и настройке, чтобы я мог ей пользоваться.
Технические процессы и требования:
1. Извлечение данных из email:
Шаг 1: Программа должна подключаться к моему email-аккаунту (например, через IMAP-протокол или Gmail API).
Шаг 2: Она должна проверять наличие новых писем каждый день.
Шаг 3: Если найдено письмо с Excel-таблицей, программа должна автоматически скачивать вложение на мой компьютер или в облачное хранилище.
2. Обработка данных:
Объединение данных: Как только Excel-файлы скачаны, программа должна объединить их в одну сводную таблицу.
Стандартизация данных:
Форматирование названий компаний: Все названия должны быть приведены к единому виду (например, все прописные буквы, удаление лишних пробелов).
Конвертация валют: Нужно, чтобы программа автоматически определяла валюту (например, доллар США или канадский доллар) и конвертировала все значения в одну валюту по текущему курсу (можно использовать API валют).
Дата и числовые форматы: Мне нужно, чтобы все даты и числовые значения были приведены к единому формату (например, YYYY-MM-DD для дат и единый стандартный формат для чисел).
Использование VLOOKUP:
Программа должна использовать VLOOKUP для объединения данных из разных таблиц и поиска соответствий.
Геокодирование: В зависимости от адресов программа должна автоматически генерировать координаты (широту и долготу) для дальнейшего анализа. Это можно реализовать через API геокодирования (например, Google Maps API).
3. Загрузка данных в BigQuery:
Как только таблица полностью обработана, программа должна автоматически загрузить данные в BigQuery. Это включает:
Настройку подключения к BigQuery (через Google Cloud SDK).
Создание или обновление таблицы в BigQuery для приема данных (либо перезапись существующих данных, либо добавление новых строк).
4. Отчет и уведомление:
Логирование: Программа должна вести лог выполнения задач, чтобы я мог видеть, что прошло успешно и где могли возникнуть ошибки.
Уведомления: После завершения загрузки в BigQuery, программа может отправить мне уведомление на email с подтверждением выполнения задачи и кратким отчетом.
Выводы и рекомендации:
Среда выполнения: Хотелось бы получить рекомендацию, где лучше развернуть эту программу.
-
15 дней8872 UAH
213 15 дней8872 UAHПривет, я полон энтузиазма. Я могу сделать калькулятор валют с API в консольной версии, потому что я не занимаюсь графикой, я делаю бэкенд на Python. Я могу сделать это бесплатно, потому что я молодой программист (в качестве альтернативы, если калькулятор валют будет соответствовать всем условиям, может быть даже символическая плата в 50-60USD) и я все еще учусь :) У меня очень хорошее понимание основ Python, и это возможность для меня учиться. Мое портфолио и профиль на GitHub: https://github.com/Ola-Kaznowska
-
1 день17 743 UAH
1984 25 1 1 день17 743 UAHДобрый день, наша команда с радостью поможет вам в разработке такого сервиса. Напишите в личные, обсудим детали.
-
7 дней31 051 UAH
445 28 1 7 дней31 051 UAHЗдравствуйте, готов сделать, обращайтесь!
Работа будет выполнена качественно!
Буду рад сотрудничать!
-
10 дней8428 UAH
229 10 дней8428 UAHДобрый день, мы - компания Easy Dev, увидели ваш заказ и готовы его реализовать быстро и качественно!
Меня зовут Давид, я один из Senior разработчиков в компании EasyDev. У меня сейчас свободная команда. Предлагаю сделать звонок со мной, обычно мы берем проекты на аутсорсинг, но при этом имеем тесный контакт с клиентом (вы будете видеть прогресс в текстовом виде 2 или более раз в неделю или проведем Daily Meetings по 15 мин).
Если вас заинтересовал этот вариант, давайте обсудим проект сегодня-завтра в любое удобное для вас время. Большое спасибо вам за внимание!
-
28 дней35 487 UAH
571 5 0 28 дней35 487 UAHГотов выполнить задание за цену $200 за каждый этап.
Можем в процессе работы вносить, переосмысливать определенные пункты для достижения лучших результатов.
В стоимость входит доработка программы в случае необходимости.
-
25 дней66 537 UAH
188 25 дней66 537 UAHЗдравствуйте. Мы веб-студия SYP. Подробно ознакомились с Вашим заданием. Готовы выполнить Ваш проект «под ключ». Пишите, обсудим все детали.
-
7 дней22 179 UAH
489 3 1 1 7 дней22 179 UAHМОжем Создать Python-программу для автоматического извлечения, обработки и загрузки данных из Excel-таблиц, полученных на email, в BigQuery.
Этапы реализации:
Извлечение данных из email:
Подключение через IMAP или Gmail API для проверки новых писем каждый день.
Скачивание вложений в формате Excel и сохранение их на сервере.
Обработка данных:
… Объединение Excel-файлов в одну таблицу.
Стандартизация: приведение форматов компании, конвертация валют (через API), унификация форматов дат и чисел.
Использование VLOOKUP для поиска и объединения данных.
Геокодирование адресов для добавления координат.
Загрузка в BigQuery:
Настройка подключения и автоматическая загрузка сводной таблицы в BigQuery (перезапись или добавление данных).
Отчет и уведомления:
Логирование всех действий и отправка email-уведомления о завершении задачи.
Рекомендуемое размещение: Развернуть на облачном сервере для стабильной работы.
Сроки и бюджет:
Сроки: 3-4 недели
Бюджет: обсуждается
Готовы обсудить детали и запустить проект.
-
8 дней19 961 UAH
847 14 0 8 дней19 961 UAHДобрый день!
Меня зовут Эрик, и я был бы рад принять участие в вашем проекте. У меня более 5 лет опыта в разработке на Python, в частности в создании автоматизированных решений для обработки данных, API-интеграций, а также настройки серверных сред. Ваш проект мне очень интересен, так как он сочетает несколько аспектов, с которыми я уже имел дело.
Предлагаемая архитектура решения:
Загрузка данных с email:
Я настрою интеграцию с вашим email-аккаунтом через IMAP или Gmail API, чтобы автоматически находить новые письма с вложенными Excel-файлами.
Вложения можно загружать на ваш локальный компьютер или в облачное хранилище, или параллельно оба варианта, в зависимости от ваших потребностей и пожеланий.
…
Обработка данных:
Для слияния таблиц и стандартизации данных (например, форматы дат, чисел, названия компаний) используем библиотеку Pandas.
Интегрирую API для автоматической конвертации валют по текущему курсу, а также геокодирования адресов через Google Maps API.
Реализую механизм VLOOKUP непосредственно в Python-скрипте для объединения данных из разных таблиц.
Загрузка в BigQuery:
Настрою интеграцию с BigQuery через Google Cloud SDK для автоматического создания или обновления таблиц. Выбор между перезаписью или добавлением новых строк также будет возможен.
Гибкость в развертывании:
Я предлагаю создать Docker-контейнер для этого решения, что позволит развернуть его на вашем компьютере, сервере или в облаке. Это обеспечит простоту и скорость развертывания и масштабирования.
Предоставлю подробную инструкцию по настройке и использованию.
Логирование и уведомления:
Реализую логирование всех процессов, чтобы вы могли видеть статус выполнения задач. После завершения каждой обработки вы получите автоматическое уведомление на email с кратким отчетом.
Почему стоит выбрать меня:
У меня большой опыт в автоматизации обработки данных и интеграции с различными сервисами. Кроме того, умею настраивать инфраструктуру так, чтобы она была гибкой и легко масштабируемой. Ваша задача интересна, и я готов предложить простое и удобное решение, которое легко адаптировать под любые будущие потребности. Моя цель — не просто выполнить проект, а сделать его удобным и эффективным для вас в долгосрочной перспективе.
Буду рад обсудить детали и предложить лучший вариант для вашего случая. Надеюсь на сотрудничество!
С уважением,
Эрик
-
1 день8872 UAH
3482 50 0 1 день8872 UAHДобрый день👋 Занимаюсь разработкой скриптов для автоматизации процессов и решения задач любой сложности. Гарантирую качественное выполнение и надёжный результат. Буду рад помочь вам с реализацией вашего проекта!
-
12 дней24 397 UAH
405 14 0 12 дней24 397 UAHЗдравствуйте! Меня зовут Богдан. Я хотел бы поработать над вашим проектом. Уже работал практически со всем скоупом технологий, перечисленных вами выше.
Общая архитектура решения которую вижу я:
Google Cloud Function — рекомендую использовать для небольших скриптов.
… Обработка данных:
IMAP протокол — будет парсить ваш Gmail, находиьть сообщения с вложением Excel и загружая их в облачную среду.
Pandas — для объединения всех данных и всех задач, связанных с преобразованием данных (конвертация валют, работа с датой).
Для конвертации валют также можно использовать бесплатный API.
Для геокодирования можно подключить Google Maps API.
Хранение и обработка данных:
BigQuery — для загрузки и обработки данных.
Логирование и уведомления:
Cloud Logging — для записи логов.
Уведомления по e-mail можно настроить через SMTP. Если хотите получать уведомления в Telegram, можно использовать Telegram-бот.
Вся эта работа никак не может стоить 200, если готовы пересмотреть бюджет и оформить Milestones 2 этапа, буду рад обсудить детали
-
30 дней119 767 UAH
8867 60 0 1 30 дней119 767 UAHДобрый день. Готов выполнить.
Имею опыт создания подобных проектов по автоматизации процессов.
Пишу на Python, занимаю 3-е место на платформе.
Сделаю программу, которая будет просматривать почту, анализировать полученные письма, сохранять необходимые Excel файлы, полученные файлы будут объединяться и стандартизироваться, после загружаться в БД. Подключу API для конвертации значений в одну валюту. Сделаю удобный интерфейс, оптимизирую. Сможете просматривать лог по всем выполняющимся задачам. Сделаю деплой на сервер.
Мое портфолио:Freelancehunt
Пишите, обсудим детали и я приступлю к работе.
Актуальные фриланс-проекты в категории Python
Многостраничный HTML-шаблон веб-сайта для онлайн-ставок и парсинг API матчей (
1109 UAH
|
Создать бота в телеграм (кабинет продавца)
700 UAH
Всем привет Нужен личный кабинет пользователя в формате бота в телеграм После запуска и прохождения опроса, под пользователя создается личный кабинет (его допускает в систему на дальнейшие кнопки) Чтобы у каждого, кто зарегистрировался, высвечивался в отдельном меню Уникальный… Python, Разработка ботов ∙ 1 день 2 часа назад ∙ 92 ставки |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 1 день 12 часов назад ∙ 21 ставка |
Розработка Тик-Ток фермы (контент-завод)Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 2 дня назад ∙ 19 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 2 дня 6 часов назад ∙ 23 ставки |