Python | Автоматизація Збору та Аналізу Даних
Загальні вимоги:
Мета: Мені потрібно, щоб програма автоматично витягувала дані у форматі Excel-таблиць з email, обробляла їх (включаючи об'єднання та стандартизацію даних), а потім завантажувала результати в базу даних BigQuery.
Невизначеності: Я не спеціаліст у технологіях, тому поки не знаю, як це має виглядати — як скрипт, який я зможу запускати зі свого комп'ютера, додаток або сервіс, що працює на сервері. Я розраховую, що ви підкажете, як зробити це краще — на моєму комп'ютері, сервері чи в хмарі.
Гнучкість і підтримка: Важливо, щоб програма була простою у використанні і в майбутньому її можна було легко адаптувати або змінювати за необхідності. Потрібна інструкція з розгортання та налаштування, щоб я міг нею користуватися.
Технічні процеси та вимоги:
1. Витягування даних з email:
Крок 1: Програма повинна підключатися до мого email-акаунту (наприклад, через IMAP-протокол або Gmail API).
Крок 2: Вона повинна перевіряти наявність нових листів кожного дня.
Крок 3: Якщо знайдено лист з Excel-таблицею, програма повинна автоматично завантажити вкладення на мій комп'ютер або в хмарне сховище.
2. Обробка даних:
Об'єднання даних: Як тільки Excel-файли завантажені, програма повинна об'єднати їх в одну зведену таблицю.
Стандартизація даних:
Форматування назв компаній: Усі назви повинні бути приведені до єдиного вигляду (наприклад, всі великі літери, видалення зайвих пробілів).
Конвертація валют: Потрібно, щоб програма автоматично визначала валюту (наприклад, долар США або канадський долар) і конвертувала всі значення в одну валюту за поточним курсом (можна використовувати API валют).
Дати та числові формати: Мені потрібно, щоб усі дати та числові значення були приведені до єдиного формату (наприклад, YYYY-MM-DD для дат і єдиний стандартний формат для чисел).
Використання VLOOKUP:
Програма повинна використовувати VLOOKUP для об'єднання даних з різних таблиць і пошуку відповідностей.
Геокодування: В залежності від адрес програма повинна автоматично генерувати координати (широту і довготу) для подальшого аналізу. Це можна реалізувати через API геокодування (наприклад, Google Maps API).
3. Завантаження даних у BigQuery:
Як тільки таблиця повністю оброблена, програма повинна автоматично завантажити дані в BigQuery. Це включає:
Налаштування підключення до BigQuery (через Google Cloud SDK).
Створення або оновлення таблиці в BigQuery для прийому даних (або перезапис існуючих даних, або додавання нових рядків).
4. Звіт і сповіщення:
Логування: Програма повинна вести лог виконання завдань, щоб я міг бачити, що пройшло успішно і де могли виникнути помилки.
Сповіщення: Після завершення завантаження в BigQuery програма може надіслати мені сповіщення на email з підтвердженням виконання завдання і коротким звітом.
Висновки та рекомендації:
Середа виконання: Хотілося б отримати рекомендацію, де краще розгорнути цю програму.
-
15 днів8996 UAH
213 15 днів8996 UAHПривіт, я сповнений ентузіазму. Я можу зробити калькулятор валют з API в консольній версії, оскільки я не займаюся графікою, я займаюся бекендом на Python. Я можу зробити це безкоштовно, оскільки я молодий програміст (альтернативно, якщо калькулятор валют відповідатиме всім умовам, може бути навіть символічна плата в 50-60USD) і я все ще навчаюся:) Я дуже добре розумію основи Python, і це можливість для мене навчитися. Мое портфоліо та профіль на GitHub: https://github.com/Ola-Kaznowska
-
1 день17 992 UAH
1984 25 1 1 день17 992 UAHДоброго дня, наша команда з радістю допоможе вам у розробці такого сервісу. Напишіть в особисті, обговоримо деталі.
-
7 днів31 485 UAH
445 28 1 7 днів31 485 UAHПривіт, готовий зробити, звертайтеся!
Робота буде виконана якісно!
Буду радий співпрацювати!
-
10 днів8546 UAH
229 10 днів8546 UAHДобрий день, ми - компанія Easy Dev, побачили ваше замовлення та готові його реалізувати швидко та якісно!
Мене звати Давид, я один з Senior розробників в компанії EasyDev. Маю вільну наразі команду. Пропоную зробити дзвінок зі мною, зазвичай ми беремо проекти на outsource, але при цьому маємо тісний контакт з клієнтом (ви будете бачити прогрес в текстовому вигляді 2 чи більше разів в тиждень або зробимо Daily Meetings по 15хв).
Якщо вас зацікавив цей варіант, давайте обговоримо проект сьогодні-завтра в будь-який зручний для вас час. Дуже дякую вам за увагу!
-
28 днів35 983 UAH
571 5 0 28 днів35 983 UAHГотовий виконати завдання за ціною $200 за кожен етап.
Можемо в процесі роботи вносити, переузгоджувати певні пункти для досягнення кращих результатів.
У вартість входить доопрацювання програми у випадку необхідності.
-
25 днів67 469 UAH
188 25 днів67 469 UAHВітаю. Ми веб студія SYP. Детально ознайомились з Вашим завданням. Готові виконати Ваш проект «під ключ». Пишіть, обговоримо всі деталі.
-
7 днів22 490 UAH
489 3 1 1 7 днів22 490 UAHМОжем створити Python-програму для автоматичного витягування, обробки та завантаження даних з Excel-таблиць, отриманих на email, у BigQuery.
Етапи реалізації:
Витягування даних з email:
Підключення через IMAP або Gmail API для перевірки нових листів кожен день.
Завантаження вкладень у форматі Excel та збереження їх на сервері.
Обробка даних:
… Об'єднання Excel-файлів в одну таблицю.
Стандартизація: приведення форматів компанії, конвертація валют (через API), уніфікація форматів дат і чисел.
Використання VLOOKUP для пошуку та об'єднання даних.
Геокодування адрес для додавання координат.
Завантаження в BigQuery:
Налаштування підключення та автоматичне завантаження зведеної таблиці в BigQuery (перезапис або додавання даних).
Звіт і сповіщення:
Логування всіх дій та відправка email-сповіщення про завершення завдання.
Рекомендуване розміщення: Розгорнути на хмарному сервері для стабільної роботи.
Терміни та бюджет:
Терміни: 3-4 тижні
Бюджет: обговорюється
Готові обговорити деталі та запустити проект.
-
8 днів20 241 UAH
847 14 0 8 днів20 241 UAHДобрий день!
Мене звати Ерік, і я був би радий взяти участь у вашому проекті. Я маю понад 5 років досвіду у Python-розробці, зокрема у створенні автоматизованих рішень для обробки даних, API-інтеграцій, а також налаштуванні серверних середовищ. Ваш проект мені дуже цікавий, оскільки він поєднує кілька аспектів, з якими я вже мав справу.
Пропонована архітектура рішення:
Завантаження даних з email:
Я налаштую інтеграцію з вашим email-аккаунтом через IMAP або Gmail API, щоб автоматично знаходити нові листи з вкладеними Excel-файлами.
Вкладення можна завантажувати на ваш локальний комп'ютер або в хмарне сховище, або паралельно обидва варіанти, залежно від ваших потреб і побажань.
…
Обробка даних:
Для злиття таблиць та стандартизації даних (наприклад, формати дат, чисел, назви компаній) використаємо бібліотеку Pandas.
Інтегрую API для автоматичної конвертації валют за поточним курсом, а також геокодування адрес через Google Maps API.
Реалізую механізм VLOOKUP безпосередньо в Python-скрипті для об'єднання даних з різних таблиць.
Завантаження в BigQuery:
Налаштую інтеграцію з BigQuery через Google Cloud SDK для автоматичного створення або оновлення таблиць. Вибір між перезаписом або додаванням нових рядків також буде можливий.
Гнучкість у розгортанні:
Я пропоную створити Docker-контейнер для цього рішення, що дозволить розгорнути його на вашому комп'ютері, сервері або в хмарі. Це забезпечить простоту і швидкість розгортання та масштабування.
Надам детальну інструкцію щодо налаштування та використання.
Логування та сповіщення:
Реалізую логування всіх процесів, щоб ви могли бачити статус виконання завдань. Після завершення кожної обробки, ви отримаєте автоматичне сповіщення на email із коротким звітом.
Чому варто обрати мене:
Я маю великий досвід в автоматизації обробки даних та інтеграції з різними сервісами. Крім того, вмію налаштувати інфраструктуру так, щоб вона була гнучкою та легко масштабованою. Ваша задача цікава, і я готовий запропонувати просте та зручне рішення, яке легко адаптувати під будь-які майбутні потреби. Моя мета — не просто виконати проект, а зробити його зручним і ефективним для вас у довгостроковій перспективі.
Буду радий обговорити деталі та запропонувати найкращий варіант для вашого випадку. Сподіваюся на співпрацю!
З повагою,
Ерік
-
1 день8996 UAH
3482 50 0 1 день8996 UAHДобрий день👋 Займаюся розробкою скриптів для автоматизації процесів і вирішення завдань будь-якої складності. Гарантую якісне виконання та надійний результат. Буду радий допомогти вам з реалізацією вашого проєкту!
-
12 днів24 738 UAH
397 14 0 12 днів24 738 UAHПривіт! Мене звуть Богдан. Я хотів би попрацювати над вашим проектом. Вже працював практично з усім обсягом технологій, перерахованих вами вище.
Загальна архітектура рішення, яку я бачу:
Google Cloud Function — рекомендую використовувати для невеликих скриптів.
Обробка даних:
IMAP протокол — буде парсити ваш Gmail, знаходити повідомлення з вкладенням Excel і завантажувати їх в хмарне середовище.
…
Pandas — для об'єднання всіх даних і всіх завдань, пов'язаних з перетворенням даних (конвертація валют, робота з датою).
Для конвертації валют також можна використовувати безкоштовний API.
Для геокодування можна підключити Google Maps API.
Зберігання та обробка даних:
BigQuery — для завантаження та обробки даних.
Логування та сповіщення:
Cloud Logging — для запису логів.
Сповіщення по e-mail можна налаштувати через SMTP. Якщо хочете отримувати сповіщення в Telegram, можна використовувати Telegram-бота.
Вся ця робота ніяк не може коштувати 200, якщо готові переглянути бюджет і оформити Milestones 2 етапу, буду радий обговорити деталі.
-
30 днів121 443 UAH
8867 60 0 1 30 днів121 443 UAHДоброго дня. Готовий виконати.
Маю досвід створення подібних проектів з автоматизації процесів.
Пишу на Python, займаю 3-є місце на платформі.
Зроблю програму, яка буде переглядати пошту, аналізувати отримані листи, зберігати необхідні Excel файли, отримані файли будуть об'єднуватися і стандартизуватися, після завантажуватися в БД. Підключу API для конвертації значень в одну валюту. Зроблю зручний інтерфейс, оптимізую. Зможете переглядати лог по всім виконуваним завданням. Зроблю деплой на сервер.
Моє портфоліо:Freelancehunt
Пишіть, обговоримо деталі і я приступлю до роботи.
Актуальні фриланс-проєкти в категорії Python
Створення бота багато фунціонального бота в телеграм
1000 UAH
(Всі матеріали предоставлю в приватні повідомлення) Ось детальний опис проєкту: Псіля натискання кнопки /start Бот присилає текст з правилми та умови користування (під текстом, кнопка ‘ознакомлен’) Після натискання на кнопку, наступне повідомлення ʼпроверка на подпискуʼ Три… Python, Розробка ботів ∙ 1 день 23 години тому ∙ 92 ставки |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 4 дні 13 годин тому ∙ 25 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 5 днів тому ∙ 19 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 5 днів 7 годин тому ∙ 26 ставок |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 5 днів 10 годин тому ∙ 28 ставок |