Python | Automatyzacja Zbierania i Analizy Danych
Ogólne wymagania:
Cel: Potrzebuję, aby program automatycznie wyciągał dane w formacie tabel Excel z e-maila, przetwarzał je (w tym łączenie i standaryzację danych), a następnie ładował wyniki do bazy danych BigQuery.
Niepewności: Nie jestem specjalistą w technologiach, więc na razie nie wiem, jak to powinno wyglądać — jako skrypt, który mogę uruchomić na swoim komputerze, aplikacja lub usługa działająca na serwerze. Liczę, że podpowiesz mi, jak to najlepiej zrobić — na moim komputerze, serwerze czy w chmurze.
Elastyczność i wsparcie: Ważne, aby program był prosty w użyciu i w przyszłości można go było łatwo dostosować lub zmienić w razie potrzeby. Będzie potrzebna instrukcja dotycząca wdrożenia i konfiguracji, abym mógł z niego korzystać.
Procesy techniczne i wymagania:
1. Wyciąganie danych z e-maila:
Krok 1: Program powinien łączyć się z moim kontem e-mail (na przykład przez protokół IMAP lub Gmail API).
Krok 2: Powinien sprawdzać, czy są nowe wiadomości każdego dnia.
Krok 3: Jeśli znajdzie wiadomość z tabelą Excel, program powinien automatycznie pobrać załącznik na mój komputer lub do chmury.
2. Przetwarzanie danych:
Łączenie danych: Gdy pliki Excel zostaną pobrane, program powinien połączyć je w jedną tabelę przestawną.
Standaryzacja danych:
Formatowanie nazw firm: Wszystkie nazwy powinny być ujednolicone (na przykład wszystkie wielkie litery, usunięcie zbędnych spacji).
Konwersja walut: Program powinien automatycznie rozpoznawać walutę (na przykład dolar amerykański lub dolar kanadyjski) i konwertować wszystkie wartości na jedną walutę według aktualnego kursu (można użyć API walut).
Formaty dat i liczb: Potrzebuję, aby wszystkie daty i wartości liczbowe były ujednolicone (na przykład YYYY-MM-DD dla dat i jednolity standardowy format dla liczb).
Użycie VLOOKUP:
Program powinien używać VLOOKUP do łączenia danych z różnych tabel i wyszukiwania dopasowań.
Geokodowanie: W zależności od adresów program powinien automatycznie generować współrzędne (szerokość i długość geograficzną) do dalszej analizy. Można to zrealizować przez API geokodowania (na przykład Google Maps API).
3. Ładowanie danych do BigQuery:
Gdy tabela zostanie w pełni przetworzona, program powinien automatycznie załadować dane do BigQuery. Obejmuje to:
Konfigurację połączenia z BigQuery (przez Google Cloud SDK).
Utworzenie lub aktualizację tabeli w BigQuery do przyjęcia danych (czy to nadpisanie istniejących danych, czy dodanie nowych wierszy).
4. Raport i powiadomienie:
Logowanie: Program powinien prowadzić log z wykonania zadań, abym mógł zobaczyć, co przebiegło pomyślnie i gdzie mogły wystąpić błędy.
Powiadomienia: Po zakończeniu ładowania do BigQuery program może wysłać mi powiadomienie na e-mail z potwierdzeniem wykonania zadania i krótkim raportem.
Wnioski i rekomendacje:
Środowisko uruchomieniowe: Chciałbym otrzymać rekomendację, gdzie najlepiej wdrożyć ten program.
-
15 dni732 PLN
213 15 dni732 PLNCześć, jestem chętny. Mogę stworzyć kalkulator walutowy z API w wersji konsolowej, ponieważ nie robię nic graficznie, zajmuję się backendem w Pythonie. Mogę to zrobić za darmo, ponieważ jestem młodym programistą (alternatywnie, jeśli kalkulator walutowy spełni wszystkie warunki, może być nawet symboliczna opłata w wysokości 50-60 USD) i wciąż się uczę :) Mam bardzo dobrą znajomość podstaw Pythona i to jest dla mnie okazja do nauki. Moje portfolio i profil na GitHubie: https://github.com/Ola-Kaznowska
-
1 dzień1465 PLN
1984 25 1 1 dzień1465 PLNDzień dobry, nasz zespół z radością pomoże Państwu w opracowaniu takiego serwisu. Proszę napisać na prywatną wiadomość, omówimy szczegóły.
-
7 dni2563 PLN
445 28 1 7 dni2563 PLNCześć, jestem gotów to zrobić, skontaktuj się ze mną!
Praca zostanie wykonana jakościowo!
Będę zadowolony ze współpracy!
-
10 dni696 PLN
229 10 dni696 PLNDzień dobry, jesteśmy firmą Easy Dev, zobaczyliśmy twoje zamówienie i jesteśmy gotowi je zrealizować szybko i jakościowo!
Nazywam się Dawid, jestem jednym z Senior deweloperów w firmie EasyDev. Mam obecnie wolny zespół. Proponuję, abyśmy zrobili telefon, zazwyczaj bierzemy projekty na outsourcing, ale jednocześnie mamy bliski kontakt z klientem (będziesz widzieć postęp w formie tekstowej 2 lub więcej razy w tygodniu lub zrobimy codzienne spotkania po 15 minut).
Jeśli ten wariant cię interesuje, porozmawiajmy o projekcie dzisiaj lub jutro w dowolnym dogodnym dla ciebie czasie. Bardzo dziękuję za uwagę!
-
28 dni2929 PLN
571 5 0 28 dni2929 PLNGotowy wykonać zadanie za cenę $200 za każdy etap.
Możemy w trakcie pracy wprowadzać, renegocjować pewne punkty w celu osiągnięcia lepszych wyników.
W cenę wchodzi dopracowanie programu w przypadku konieczności.
-
25 dni5492 PLN
188 25 dni5492 PLNWitaj. Jesteśmy studiem internetowym SYP. Dokładnie zapoznaliśmy się z Twoim zadaniem. Jesteśmy gotowi zrealizować Twój projekt „pod klucz”. Pisz, omówimy wszystkie szczegóły.
-
7 dni1831 PLN
489 3 1 1 7 dni1831 PLNMOżemy stworzyć program w Pythonie do automatycznego wydobywania, przetwarzania i ładowania danych z arkuszy Excel, otrzymanych na email, do BigQuery.
Etapy realizacji:
Wydobywanie danych z emaila:
Podłączenie przez IMAP lub Gmail API do sprawdzania nowych wiadomości każdego dnia.
Pobieranie załączników w formacie Excel i zapisywanie ich na serwerze.
Przetwarzanie danych:
… Łączenie plików Excel w jedną tabelę.
Standaryzacja: dostosowanie formatów firmy, konwersja walut (przez API), unifikacja formatów dat i liczb.
Użycie VLOOKUP do wyszukiwania i łączenia danych.
Geokodowanie adresów w celu dodania współrzędnych.
Ładowanie do BigQuery:
Konfiguracja połączenia i automatyczne ładowanie tabeli przestawnej do BigQuery (nadpisywanie lub dodawanie danych).
Raport i powiadomienia:
Logowanie wszystkich działań i wysyłanie powiadomienia email o zakończeniu zadania.
Zalecane umiejscowienie: Rozwinąć na serwerze w chmurze dla stabilnej pracy.
Terminy i budżet:
Terminy: 3-4 tygodnie
Budżet: do omówienia
Jesteśmy gotowi omówić szczegóły i uruchomić projekt.
-
8 dni1648 PLN
847 14 0 8 dni1648 PLNDzień dobry!
Nazywam się Erik i chętnie wezmę udział w Państwa projekcie. Mam ponad 5-letnie doświadczenie w programowaniu w Pythonie, w szczególności w tworzeniu zautomatyzowanych rozwiązań do przetwarzania danych, integracji API oraz konfiguracji środowisk serwerowych. Państwa projekt jest dla mnie bardzo interesujący, ponieważ łączy kilka aspektów, z którymi już miałem do czynienia.
Proponowana architektura rozwiązania:
Ładowanie danych z emaila:
Skonfiguruję integrację z Państwa kontem email przez IMAP lub Gmail API, aby automatycznie znajdować nowe wiadomości z załączonymi plikami Excel.
Załączniki można pobierać na Państwa lokalny komputer lub do chmury, lub równocześnie oba warianty, w zależności od Państwa potrzeb i życzeń.
…
Przetwarzanie danych:
Do łączenia tabel i standaryzacji danych (np. formaty dat, liczb, nazwy firm) wykorzystamy bibliotekę Pandas.
Zintegruję API do automatycznej konwersji walut według aktualnego kursu, a także geokodowania adresów przez Google Maps API.
Zrealizuję mechanizm VLOOKUP bezpośrednio w skrypcie Pythona do łączenia danych z różnych tabel.
Ładowanie do BigQuery:
Skonfiguruję integrację z BigQuery przez Google Cloud SDK do automatycznego tworzenia lub aktualizacji tabel. Wybór między nadpisywaniem a dodawaniem nowych wierszy również będzie możliwy.
Elastyczność w wdrażaniu:
Proponuję stworzenie kontenera Docker dla tego rozwiązania, co pozwoli na wdrożenie go na Państwa komputerze, serwerze lub w chmurze. Zapewni to prostotę i szybkość wdrażania oraz skalowania.
Dostarczę szczegółową instrukcję dotyczącą konfiguracji i użytkowania.
Logowanie i powiadomienia:
Zrealizuję logowanie wszystkich procesów, aby mogli Państwo widzieć status realizacji zadań. Po zakończeniu każdego przetwarzania otrzymają Państwo automatyczne powiadomienie na email z krótkim raportem.
Dlaczego warto wybrać mnie:
Mam duże doświadczenie w automatyzacji przetwarzania danych oraz integracji z różnymi usługami. Ponadto potrafię skonfigurować infrastrukturę tak, aby była elastyczna i łatwo skalowalna. Państwa zadanie jest interesujące, a ja jestem gotów zaproponować proste i wygodne rozwiązanie, które łatwo dostosować do wszelkich przyszłych potrzeb. Moim celem jest nie tylko zrealizowanie projektu, ale uczynienie go wygodnym i efektywnym dla Państwa w dłuższej perspektywie.
Będę zadowolony, mogąc omówić szczegóły i zaproponować najlepszą opcję dla Państwa przypadku. Liczę na współpracę!
Z poważaniem,
Erik
-
1 dzień732 PLN
3482 50 0 1 dzień732 PLNDzień dobry👋 Zajmuję się tworzeniem skryptów do automatyzacji procesów i rozwiązywania zadań o dowolnym stopniu trudności. Gwarantuję wysoką jakość wykonania i niezawodny rezultat. Będę zadowolony, mogąc pomóc w realizacji Twojego projektu!
-
12 dni2014 PLN
405 14 0 12 dni2014 PLNCześć! Nazywam się Bohdan. Chciałbym pracować nad waszym projektem. Już pracowałem praktycznie ze wszystkimi technologiami wymienionymi przez was powyżej.
Ogólna architektura rozwiązania, którą widzę:
Google Cloud Function — polecam używać do małych skryptów.
Przetwarzanie danych:
Protokół IMAP — będzie parsować waszego Gmaila, znajdować wiadomości z załącznikiem Excel i ładować je do chmury.
…
Pandas — do łączenia wszystkich danych i wszystkich zadań związanych z przetwarzaniem danych (konwersja walut, praca z datą).
Do konwersji walut można również użyć darmowego API.
Do geokodowania można podłączyć Google Maps API.
Przechowywanie i przetwarzanie danych:
BigQuery — do ładowania i przetwarzania danych.
Logowanie i powiadomienia:
Cloud Logging — do zapisywania logów.
Powiadomienia e-mail można skonfigurować przez SMTP. Jeśli chcecie otrzymywać powiadomienia w Telegramie, można użyć bota Telegram.
Cała ta praca nie może kosztować 200, jeśli jesteście gotowi przejrzeć budżet i ustalić Milestones 2 etapu, chętnie omówię szczegóły.
-
30 dni9886 PLN
8867 60 0 1 30 dni9886 PLNDzień dobry. Jestem gotów do wykonania.
Mam doświadczenie w tworzeniu podobnych projektów związanych z automatyzacją procesów.
Piszę w Pythonie, zajmuję 3. miejsce na platformie.
Stworzę program, który będzie przeglądał pocztę, analizował otrzymane wiadomości, zapisywał niezbędne pliki Excel, otrzymane pliki będą łączone i standaryzowane, a następnie ładowane do bazy danych. Podłączę API do konwersji wartości na jedną walutę. Stworzę wygodny interfejs, zoptymalizuję. Będzie można przeglądać log wszystkich wykonywanych zadań. Zrealizuję wdrożenie na serwerze.
Moje portfolio:Freelancehunt
Piszcie, omówimy szczegóły i przystąpię do pracy.
Aktualne zlecenia dla freelancerów w kategorii Python
Stworzenie wielofunkcyjnego bota w Telegramie
82 PLN
(Wszystkie materiały przekażę w prywatnych wiadomościach) Oto szczegółowy opis projektu: Po naciśnięciu przycisku /start Bots wysyła tekst z zasadami i warunkami korzystania (pod tekstem przycisk 'zapoznałem się') Po naciśnięciu przycisku, następna wiadomość 'sprawdzenie… Python, Tworzenie chatbota ∙ 17 godzin 52 minuty temu ∙ 75 ofert |
Znaleźć feed produktowy (Google Merchant XML) dla strony na OpenCart
57 PLN
Konieczne jest znalezienie bezpośredniego linku do działającego pliku z danymi produktowymi (XML) konkurenta dla Google Merchant Center Platforma (CMS): OpenCart / ocStore Znajdź oryginalny plik z danymiWymagania dotyczące wyniku: Roboczy link do pliku XML Python, Parsowanie danych ∙ 3 dni 7 godzin temu ∙ 22 oferty |
Rozwój farmy Tik-Tok (fabryka treści)Konieczne jest opracowanie systemu do centralnego zarządzania wieloma kontami TikTok z automatycznym publikowaniem treści, wykorzystaniem indywidualnych proxy oraz symulacją naturalnej aktywności kont. Wymagania funkcjonalne1. Zarządzanie kontami Dodawanie i usuwanie kont… Python, Tworzenie chatbota ∙ 3 dni 18 godzin temu ∙ 19 ofert |
Poprawić działanie Claude Code i prace związane z pisaniem oprogramowaniaObecnie rozwijam CRM i analitykę, oprogramowanie. Robię to przez Claude Code, ale rozumiem, że wyniki nie są najlepsze pod względem zmian. Mam 2 zadania - Potrzebuję pomocy w stworzeniu presetów dotyczących umiejętności, MD itd., aby poprawić jakość. Wziąć sprawdzone, z którymi… AI i uczenie maszynowe, Python ∙ 4 dni 1 godzina temu ∙ 24 oferty |
System OCRPotrzebny jest system rozpoznawania tekstu na kopertach pocztowych (indeks - tylko liczby). Tekst czasami może być ręcznie napisany. Rozpoznawanie znaczków (liczenie ilości i nominałów) Python ∙ 4 dni 4 godziny temu ∙ 27 ofert |