StreamSets DataCollector lub NIFI
2) Wybieramy strumieniowanie danych (na przykład tutaj: https://www.pubnub.com/developers/realtime-data-streams/ lub jego wersja)
3) Instalowany SDC (StreamSets DataCollector) lub NiFi (kto chce swoją opcję, niech swoją.SDC i NiFi są doskonale ustawione przez Docker.4) Dostosowujemy PayPal do przetwarzania danych według własnego uznania.Najważniejszą rzeczą by było:
- otrzymywanie informacji z źródła (bezpośrednio z serwisu lub z Kafka)
- weryfikacja otrzymywanych wiadomości (na przykład: nazwa nie powinna przekraczać 16 znaków, w przeciwnym razie przełączamy wiersz z nazwą do 16 znaków)
- Przetwarzanie pól (na przykład w strumieniu otrzymasz 2 odrębne pola: imię i nazwisko, w przetwarzaniu tworzysz jedno odrębne pole fullname.- Warunek wyboru (na przykład, jeśli znajdziesz nazwę { name }, wykonujesz pewne czynności (na przykład, wysyłasz wiadomość do Telegram.- Umieścić przetwarzane dane w BD (można wybrać dowolny, ale bardzo polecam zapoznać się z Druid przynajmniej co do zrozumienia).Każda praca kończy się prezentacją tego, co zostało wykonane przez zespół i raportem o wykonanej pracy.Zawartość sprawozdania:
- Strona główna z nazwą tematu i listą zespołów
- ustalenie zadania
- Podejście do rozwiązania (od czego pochodzą dane, jakie technologie zostały wybrane do rozwiązania itp.)
- Opis decyzji
- wyniki
Dodatkowo do laboratorium dodaje się kod + eksportowany plik SDC/NiFi.Uwaga !Nie trzeba wydrukować raportów, wystarczy DOCX/PDF
ТОЛЬКО StreamSets DataCollector или NiFi. Не своя разработка
Opinia zleceniodawcy o współpracy z Dmytro Ohorodnik
StreamSets DataCollector lub NIFIPraca została wykonana w terminie. Wykonawca jest zawsze w kontakcie. Polecam .
Opinia freelancera o współpracy z Marina Shshshshsh
StreamSets DataCollector lub NIFIIdealny klient . Nie ma żadnych wezwań.
-
1125 43 0 1 Pozdrawiam . Proponuję rozwiązanie w Python3, z następnym preprocesowaniem danych i ich przechowywaniem. Jeśli można wybrać dowolną bazę danych, lepiej użyć PostgreSQL lub MySQL. Podaję kod z komentarzami, piszę również sprawozdanie z realizacji parsera. Cieszę się z wykonaniem.
-
2233 82 0 Dzień dobry,
Proponuję takie rozwiązanie laboratoryjne: parzimy dane z dowolnego źródła (na przykład przez API) i skrypt na Python 3 przetwarza dane i wypełnia BD. Jest takie rozwiązanie pracy - mogę przepisać do Twoich potrzeb.
W związku z tym opisuję cały proces w raporcie.
Przeglądam również Twoją opcję rozwiązania, zainteresowany współpracą.
Będę chętny Ci pomóc!
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
System PIM
820 PLN
Trzeba zrobić system PIM. Liczba produktów — kilka milionów. Jest kilku dostawców, którzy podają dane w różnych formatach: csv, xml, API. Dane są ograniczone, często trzeba znajdować cechy produktów w innych źródłach i uzupełniać. Trzeba zrobić tabelę, w której będą… Bazy danych i SQL, Programowanie stron internetowych ∙ 1 godzina 22 minuty temu ∙ 23 oferty |
Integracja BAS szwejk 8
820 PLN
Dzień dobry, trzeba zintegrować BAS szwejk 8, podłączyć stronę i CRM sales drive, ustawić raporty i inne dane Bazy danych i SQL ∙ 2 godziny 27 minut temu ∙ 6 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 21 godzin 16 minut temu ∙ 16 ofert |
Wajbkodin przez Claude Code
1273 PLN
Opracować zamkniętą platformę internetową dla wydarzeń korporacyjnych z osobistymi zaproszeniami za pomocą unikalnych linków i kodów QR. Po zeskanowaniu kodu QR użytkownik trafia na osobistą stronę zaproszenia z powitaniem, zwrotem po imieniu, zdjęciem oraz wiadomością od CEO,… AI graphic, Bazy danych i SQL ∙ 1 dzień temu ∙ 42 oferty |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 4 godziny temu ∙ 37 ofert |