Parsowanie miliona rekordów
574 PLN
jest plik csv z asortymentem na 200k zapisów z 10+ kolumnami
jedna z kolumn to link - po otwarciu linku znajduje się JSON z 20+ zdjęciami
czyli mamy asortyment na 200k pozycji z 20 zdjęciami na każdą, czyli łącznie 4 000 000 zdjęć
Zadanie:
1. Załadować oryginalny plik csv tak jak jest do tabeli bazy danych Mysql + kolumna "data aktualizacji zapisu"
2. Załadować do osobnej tabeli z linkami do zdjęć (2 mln zapisów) + klucz z tabeli p.1
3. Aktualizować tabele 5 razy dziennie nowym plikiem (dostęp do pliku będzie zorganizowany za pomocą linku)
W tzw. opisano główne zadanie i nie opisano funkcjonalności logowania oraz sprawdzania poprawności działania parsera - tę część opisuje dla siebie specjalista samodzielnie.
Szuka się osoby z doświadczeniem w pracy z podobnymi projektami, gdzie trzeba szybko przetwarzać miliony zapisów.
P.S. prośba nie pisać bez doświadczenia oraz tych, którzy polegają na "mocy AI". Dziękuję
Opinia zleceniodawcy o współpracy z Illia Vasilenko
Parsowanie miliona rekordówświetna praca, odpowiedzialna osoba!
Opinia freelancera o współpracy z Dmitro P.
Parsowanie miliona rekordówInteresujący projekt, dużo danych) Zamawiający jest jasny i zorganizowany. Zawsze w kontakcie. Wyraźnie formułuje wymagania i rozumie swoje potrzeby. Polecam!
-
3 dni131 PLN
3 dni131 PLN
Dzień dobry. Nie ma problemu, aby to zrobić, ale chciałbym najpierw zobaczyć tabelę i JSON. Doświadczenie zawodowe można zobaczyć w historii opinii.
-
2 dni246 PLN
2 dni246 PLN
Witam! Od ponad 3 lat zajmuję się parsowaniem danych. Realizowałem podobny projekt, ale tam zamiast obrazów, pracowaliśmy z archiwami.
Będę w stanie zrealizować wszystko szybko i jakościowo!
Jak tylko omówimy szczegóły - zaczynam pracować.
-
3 dni246 PLN
414 3 dni246 PLN
Cześć! 👋
Mam doświadczenie w opracowywaniu systemów przetwarzania dużych ilości danych (miliony rekordów), w tym importu CSV, pracy z JSON, optymalizacji MySQL oraz automatycznego aktualizowania danych według harmonogramu. Będę w stanie zrealizować stabilny proces przetwarzania twojego pliku z asortymentem i zdjęciami.
Jak to zrealizuję:
import oryginalnego CSV (200k rekordów) do tabeli MySQL z zachowaniem struktury + pole data aktualizacji;
przetwarzanie JSON z linku i wyciąganie URL wszystkich zdjęć;
…
zapis zdjęć w osobnej tabeli (do 4 mln rekordów) z powiązaniem do produktu;
optymalizacja struktury bazy danych (indeksy, batch inserts, chunk processing);
automatyczne aktualizowanie danych 5 razy dziennie przez cron;
system logowania, sprawdzania poprawności importu i kontroli błędów;
optymalizacja szybkości przetwarzania dużych ilości danych.
Pracowałem nad zadaniami, w których trzeba przetwarzać miliony rekordów i duże zbiory danych, dlatego szczególną uwagę zwracam na wydajność i stabilność procesu.
Jestem gotów omówić szczegóły struktury CSV i JSON, po czym będę mógł ocenić terminy i budżet.
-
3 dni246 PLN
511 3 0 3 dni246 PLN
Witam. Mam doświadczenie z parsowaniem csv i json. Jestem gotów stworzyć strukturalną bazę danych, ale najpierw chciałbym zobaczyć strukturę csv, również mogę dostarczyć skrypt, jeśli w csv z tą strukturą będą dodawane informacje.
-
2 dni410 PLN
2127 31 0 2 dni410 PLN
Dzień dobry, Dmytro
Mam zaawansowaną wiedzę na temat MySQL oraz pracy z podobnym parsowaniem.
Proszę o kontakt, pomogę stworzyć rozwiązanie, które działa szybko i niezawodnie.
Czekam na feedback.
-
3 dni410 PLN
10038 117 0 3 dni410 PLN
Witam.
Opracowuję boty i parsery w NodeJS. Jestem gotów się tym zająć. Piszcie, omówimy.
-
3 dni410 PLN
727 6 0 3 dni410 PLN
realizuję bez problemu, cena pod warunkiem, że nie będzie żadnych blokad, proszę się zgłaszać, realizuję w dogodnym dla Państwa stacku
-
2 dni57 PLN
3392 84 0 2 dni57 PLN
Gotowy, aby się tym zająć. Ale muszę wyjaśnić szczegóły zamówienia, pisz! Zrealizuję skrypt w Pythonie.
-
3 dni410 PLN
3323 70 1 3 dni410 PLN
Witam, Dmytro.
Mam odpowiednie doświadczenie do realizacji tego projektu.
-
3 dni246 PLN
3700 17 0 3 dni246 PLN
Cześć! 🚀
Mam doświadczenie w pracy z dużymi zbiorami danych: import CSV na setki tysięcy rekordów, przetwarzanie JSON z linków, ładowanie milionów wierszy do MySQL, budowanie stabilnych ETL/parsing pipeline z aktualizacją według harmonogramu, logowaniem, mechaniką retry oraz kontrolą integralności danych. Dla twojego zadania mogę zrealizować szybki system ładowania asortymentu, przeniesienie zdjęć do osobnej tabeli, aktualizację 5 razy dziennie.
Stos technologiczny, który będę używać:
Backend: Python, MySQL, asyncio / aiohttp, multiprocessing
Integracje: pipeline importu CSV, parsowanie JSON, cron / scheduler, logowanie, retry / monitoring
Infrastruktura: Docker, VPS / serwer, Redis (w razie potrzeby), CI/CD
…
Jestem gotów omówić szczegóły projektu osobiście i gotów do rozpoczęcia pracy.
Z poważaniem, Andrij!
-
2 dni123 PLN
6935 109 4 1 2 dni123 PLN
Dzień dobry. Będę zadowolony ze współpracy. Mam dobre doświadczenie w parsowaniu danych z plików.
-
2 dni246 PLN
368 2 dni246 PLN
Dzień dobry, Dmytro!
Mamy doświadczenie w pracy z dużymi zbiorami danych — parsowanie Google Maps na 200K+ rekordów z przetwarzaniem odpowiedzi JSON, ładowanie do PostgreSQL z deduplikacją i inkrementalnym aktualizowaniem.
W odniesieniu do Twojego zadania:
1. Import CSV (200K wierszy, 10+ kolumn) do MySQL z indeksami dla szybkiego wyszukiwania + kolumna daty aktualizacji
2. Parsowanie JSON z linków → osobna tabela zdjęć (2-4 mln rekordów) z FK do głównej tabeli
3. Automatyczna aktualizacja 5 razy dziennie według harmonogramu (cron) z logowaniem i sprawdzaniem integralności
… Do szybkiego przetwarzania milionów rekordów używamy batch-insert (LOAD DATA / bulk insert), równoległego przetwarzania JSON oraz monitorowania procesu.
Jesteśmy gotowi pokazać przykład podejścia po przeglądzie CSV i JSON. Proponujemy pracę przez Safe.
-
1 dzień328 PLN
172 1 1 1 dzień328 PLN
Dzień dobry. Jestem gotów wykonać ten projekt, mam duże doświadczenie w tworzeniu aplikacji.
-
3 dni123 PLN
6320 74 1 3 dni123 PLN
Dzień dobry. Mam doświadczenie w podobnych zadaniach związanych z przetwarzaniem csv i json. Chciałbym zobaczyć próbkę danych. Będę zadowolony, mogąc pomóc.
-
3 dni246 PLN
1328 35 1 3 dni246 PLN
Witaj. Duże doświadczenie w pracy z bazami danych mysql. Cały projekt zrobię w php, proszę o kontakt.
-
3 dni82 PLN
5011 41 4 1 3 dni82 PLN
Dzień dobry!
Mam znaczące doświadczenie w pracy nad projektami, które wymagają szybkiego przetwarzania milionów rekordów, w tym efektywnego parsowania danych z API oraz pracy z MySQL. Jestem gotów zrealizować twoje zadanie dotyczące aktualizacji asortymentu i zdjęć.
Napisz do mnie w wiadomości prywatnej, ustalimy szczegóły.
-
2 dni246 PLN
9003 367 0 2 dni246 PLN
Dzień dobry
Zainteresował mnie wasz projekt.
Chciałbym omówić wszystko bardziej szczegółowo.
-
Я правильно зрозуів:
Беремо рядок CSV.
Витягуємо URL до JSON.
Робимо HTTP-запит до цього JSON (200,000 запитів!).
Парсимо масив (20+ лінків).
Записуємо в БД.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Svitlahata
62 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 5 godzin 8 minut temu ∙ 22 oferty |
Parsowanie danych przez mobilne APISzukałem osoby z doświadczeniem w parsowaniu danych przez mobilne API, do parsowania e-commerce, rozetka i podobne Zadania: 1. Przechwytywanie ruchu aplikacji mobilnej (Android) konfiguracja proxy, analiza zapytań 2. Określenie potrzebnych punktów końcowych API, do których… Python, Parsowanie danych ∙ 1 dzień 23 godziny temu ∙ 29 ofert |
Szukam programisty lub kodera do automatyzacji scrapingu danych 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing przypadkowo wysłałem ten link Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 2 godziny temu ∙ 38 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 6 dni 20 godzin temu ∙ 20 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 7 dni temu ∙ 38 ofert |
Kijów