Wymagany programista do parsowania katalogu i automatyzacji importu danych

Cześć, Tatiana. Przejrzałem Twój katalog na Lovable. Prawdziwym wyzwaniem nie jest sam katalog uCoin, ale drugi etap, związany z powiązaniem danych PCGS z kartami. Katalog na ~100 000 monet to duża, ale liniowa objętość. A przeszukiwanie PCGS strona po stronie nie ma sensu: mają Public API (wyszukiwanie po numerze certyfikatu, kodzie kreskowym, numerze PCGS plus ocena), które powinno być punktem wejścia zamiast przeszukiwania milionów stron. Od tego zależy cały budżet drugiego etapu, dlatego nie będę go oceniać w ciemno.

Krótko o mnie: mam swoją działającą w produkcji platformę do parsowania, która codziennie zbiera duże katalogi z kilku zabezpieczonych źródeł, omija anty-boty, normalizuje i deduplikuje dane oraz ładuje je partiami do PostgreSQL. To znaczy, że zarówno omijanie Cloudflare u uCoin, jak i masowy import do Waszego Supabase oraz dopasowanie encji to dokładnie to, co robię w produkcji.

Jak bym to zrobił:
Etap 1 (katalog): zbieranie struktury uCoin według Waszych kryteriów (regularne plus jubileuszowe, bez kolekcjonerskich i bez zdjęć), normalizacja krajów, nominałów, lat i atrybutów, deduplifikacja i import partii do Waszej struktury na Supabase. Osobno log importu i lista kart do ręcznej weryfikacji, aby po załadunku nie czyścić 100 000 rekordów ręcznie. Inkrementalna aktualizacja, aby katalog można było odświeżać, a nie ładować całkowicie na nowo.
Etap 2 (PCGS): zaczynam od krótkiego testu API na małej próbce (jakie pola i zdjęcia są dostępne, jakie limity, według jakich atrybutów wiarygodnie zgadza się powiązanie). Po teście podam dokładną cenę i terminy.

Odpowiadając na Wasze pytania:
… 1. Mam doświadczenie z dużymi katalogami, to moja specjalizacja: parsowanie w produkcji, anty-boty, normalizacja, dopasowanie encji.
2. Etap 1 mogę wykonać za stałą cenę 7000 UAH w ciągu 4-5 dni. Etap 2 ocenię po teście API, aby nie podawać liczby w ciemno.
3. Główne trudności: Cloudflare u uCoin (rotacja proxy rezydenckich i tempo zapytań), dzienne limity i dostęp do API PCGS, staranne dopasowanie encji oraz inkrementalna aktualizacja bez duplikatów.

Proponuję zacząć od etapu 1 jako osobnego kroku, abyście mogli ocenić wynik przed przystąpieniem do PCGS. Import potrzebny jest bezpośrednio do bazy Supabase przez backend strony czy do osobnej bazy?

Władysław

Pokaż oryginał

Przetłumacz

Cześć! Specjalizuję się w parsowaniu dużych katalogów — przejrzę twój katalog i zbiorę import w potrzebnym formacie z dalszym auto-aktualizowaniem. Główne trudności zazwyczaj dotyczą paginacji, wariantów pozycji i ochrony przed botami, ale z lovable-stroną nie widzę problemu. Dokładniejszą ocenę dam, jak tylko przejrzę specyfikację z załącznikiem. Orientacyjnie 3-4 dni. W jakim formacie chcesz, żebym wyeksportował — CSV/XLSX czy od razu import do twojej bazy?

Pokaż oryginał

Przetłumacz

Dzień dobry! Doświadczenie w pracy z parsowaniem katalogów w Pythonie (BeautifulSoup, Selenium, requests). Pracowałem z dużymi projektami eCommerce, rozumiem specyfikę strukturalnych katalogów.\nW odniesieniu do Państwa projektu:\n\n— Mogę zrealizować parsowanie katalogu z automatycznym importem danych\n\n— Możliwe trudności: ochrona przed parsowaniem, dynamiczna zawartość (renderowanie JS) — do rozwiązania\n\n— Wynik: strukturalne dane w CSV/Excel/Baza danych\nOrientacyjny koszt: 3000–5000 UAH. 3–5 dni.\nProszę przesłać specyfikację — podam dokładną wycenę.

Pokaż oryginał

Przetłumacz

Cześć! Parsowanie dużych katalogów i automatyzacja importu to moja codzienna praca (w produkcji parsery katalogów konkurencji z omijaniem anty-botów, normalizacją i AI-dopasowaniem produktów). Przejrzę specyfikację i podam dokładny koszt oraz terminy; główne ryzyka to zazwyczaj ochrona anty-botów i niestabilny układ, do rozwiązania. Cena w ofercie jest orientacyjna.

Pokaż oryginał

Przetłumacz

Tatiana, w tym zadaniu najciekawsze jest nie w parsowaniu, a w połączeniu dwóch źródeł danych. Same 100 000 kart katalogu to duża, ale całkiem liniowa objętość pracy. Główna trudność pojawia się na etapie automatycznego przypisywania danych PCGS do już stworzonych kart.

Sądząc po opisie, macie już działający model importu jednej monety przez rozszerzenie. To dobry znak, ponieważ logika dopasowywania bytów już częściowo istnieje. Najpierw zajęłabym się właśnie tym procesem i zrozumiała, jakie atrybuty są rzeczywiście używane do wyszukiwania odpowiedniej karty, zanim uruchomię masową automatyzację.

Osobno zwróciłam uwagę na przeszukiwanie certyfikatów PCGS. Jeśli zakres rzeczywiście liczy się w dziesiątkach milionów stron, to przed opracowaniem warto poświęcić czas na badanie struktury danych. Często takie strony pozostawiają pośrednie punkty wejścia: zapytania wyszukiwania, wewnętrzne API, sitemap, archiwa lub strony serii. Od tego zależy cały budżet drugiego etapu.

Pod względem objętości widzę tutaj raczej pełnoprawny projekt zbierania i normalizacji danych, niż zwykły parser. Etap z katalogiem oceniłabym na około 40–60 godzin. Etap z automatycznym pozyskiwaniem i dopasowywaniem danych PCGS bez wstępnego badania trudno ocenić, ale realistycznie to jeszcze 40–100+ godzin pracy. Całkowity budżet wygląda w przedziale 1200–3200$.

Proszę powiedzieć, czy katalog na waszej stronie ma już stabilne wewnętrzne identyfikatory dla monet, czy obecnie dopasowanie możliwe jest tylko po nazwie, roku i innych atrybutach?

Pokaż oryginał

Przetłumacz

Cześć! Zadanie jest całkowicie zrozumiałe, specjalizuję się w parserach Python i zbieraniu dużych katalogów danych. Zobaczyłem waszą stronę na Lovable — to świetna opcja, ponieważ przygotuję dla was czysty plik CSV lub JSON, który będziecie mogli pobrać jednym kliknięciem do automatycznego wypełniania kart monet bez pomocy programistów. Do zbierania będę używał asynchronicznych skryptów z symulacją działań człowieka oraz rotacyjnymi proxy, co pozwoli łatwo obejść zabezpieczenia strony źródłowej (takie jak Cloudflare czy CAPTCHA), przechwycić dynamiczną treść i dokładnie zorganizować wszystkie specyficzne cechy numizmatyczne w osobnych kolumnach bazy danych. Jestem gotów połączyć się już dzisiaj, przesyłajcie link do strony źródłowej w prywatnych wiadomościach, a ja wszystko dokładnie obliczę!

Pokaż oryginał

Przetłumacz

Cześć! Jestem programistą backendowym, pracuję w PHP (CLI/skrypty), co idealnie nadaje się do Big Data bez zbędnego obciążenia pamięci. Twój stos technologiczny na Lovable (React + Supabase/PostgreSQL) jest mi całkowicie znany - import będzie odbywał się bezpośrednio do bazy danych za pomocą pakietowych zapytań SQL dla maksymalnej prędkości.

Wizja techniczna realizacji:

Etap 1: Parsowanie uCoin (Szkielet na 100 000 kart)
• Filtrowanie: Skrypt przejdzie przez drzewo krajów uCoin, odcinając zestawy kolekcjonerskie i zbierając tylko regularne i jubileuszowe monety.
• Optymalizacja: Zbieramy tylko tekst (nazwa, rok, cechy). Do obejścia Cloudflare użyję rotacji nagłówków i proxy.

Etap 2: Optymalizacja PCGS (Zamiast 30 mln stron)
… • Rozwiązanie: Przechodzenie przez 30 mln certyfikatów wprost - nieefektywne. Znajdę wewnętrzną strukturę strony przez Population Report lub Set Registry. Zparsujemy tabele grup według unikalnego numeru monety, co skróci liczbę zapytań o tysiące razy.
• Proxy i mapowanie: Skrypt będzie działał przez zagraniczne proxy rezydenckie (PCGS blokuje WNP). Automatycznie wyciągnie zdjęcia słabych, stopień, numer certyfikatu i powiąże je z kartami z Etapu 1.

Proces dzielimy na dwa logiczne kroki:

• Etap 1 (uCoin - Szkielet katalogu): Opracowanie parsera CLI i pakietowy import tekstu do twojej bazy Supabase.
Koszt: 7000 UAH | Termin: 4 dni (z uwzględnieniem przejścia przez proxy).

• Etap 2 (PCGS - Zdjęcia i metadane): Automatyzacja obejścia, pobieranie obrazów, parsowanie stopni i automatyczne powiązanie.
Koszt: Ocenimy po analizie twojej bazy na Etapie 1 (orientacyjnie 400-500 USD, 7-10 dni).

W polu ofertowym podałem koszt za Etap nr 1. Czekam na wiadomości prywatne w celu omówienia szczegółów!

Pokaż oryginał

Przetłumacz

Witam.

Zapoznałem się z TŻ i obejrzałem wasz katalog na Lovable. Dla pierwszej partii mogę zebrać import podstawowego katalogu: struktura z uCoin, filtrowanie potrzebnych kategorii, normalizacja krajów / nominałów / lat / atrybutów i załadowanie do waszej struktury na stronie.

Osobno uwzględnię sprawdzenie duplikatów, log importu i listę rekordów, które wymagają ręcznego doprecyzowania. Dla takiej objętości to ważne, aby po imporcie nie czyścić 100 000 kart ręcznie.

Sprawdziłem oficjalne Public API PCGS: wspiera wyszukiwanie po numerze certyfikatu, kodzie kreskowym i numerze PCGS + ocenie, ale wymaga konta/dostępu do API i ma dzienny limit zapytań. Dlatego drugi etap warto zacząć od testu technicznego API na małej próbce: sprawdzić dostępne pola, zdjęcia, limity i logikę powiązania z kartami katalogu.

Mam odpowiednie doświadczenie w parsowaniu, normalizacji katalogów, przygotowywaniu danych do importu oraz pracy z dużymi objętościami rekordów.
…
Przed rozpoczęciem pracy muszę wyjaśnić:
- które kategorie z uCoin wykluczamy
- czy jest dostęp do Supabase / backendu waszej strony
- które pola są obowiązkowe dla karty monety
- czy jest konto PCGS/dostęp do API
- czy jest gotowa lista cert / PCGSNo do testu

Po sprawdzeniu API PCGS można osobno ustalić drugi etap ze zdjęciami i metadanymi.

Szczegóły możemy omówić w wiadomościach prywatnych.

Pokaż oryginał

Przetłumacz

Witam! Pracowałem nad parsowaniem dużej ilości danych graficznych, które wymagały dalszego przetwarzania i strukturyzacji, dlatego mogę zrealizować Twoje zamówienie.

Wśród wyzwań, które mogą stanąć na przeszkodzie, może być ochrona przed botami na stronach, które trzeba parsować, ale można znaleźć sposób na obejście tego.

Mogę stworzyć strukturalną bazę danych z danych, które udało się wyciągnąć z docelowych stron, lub dodać do już istniejącej bazy danych.

Obecnie mogę oszacować projekt na 3000 hrywien z terminem do 5-6 dni.

Pokaż oryginał

Przetłumacz

Cześć. Z opisu widzę zadanie jako parsowanie dużego katalogu z późniejszą automatyzacją importu danych. Szczegółowe wymagania techniczne masz w załączonym dokumencie, jestem gotów go przeanalizować i podać konkretną wycenę kosztów i terminów.

Mam doświadczenie w parsowaniu dużych katalogów: pisałem parsery w Pythonie z odpornością na paginację, dynamiczne ładowanie i zabezpieczenia, z normalizacją danych i ładowaniem do bazy. Z typowych trudności w dużych katalogach od razu zakładam: ochrona przed blokadami i throttling zapytań, renderowanie JavaScript tam, gdzie dane są ładowane dynamicznie, staranna deduplikacja i dopasowanie pól podczas importu, a także doładowanie i aktualizacja zamiast pełnego ponownego uruchomienia, aby katalog można było odświeżać inkrementalnie.

Aby podać dokładne liczby: przeanalizuję twój dokument z wymaganiami technicznymi i zobaczę katalog pod linkiem. Powiedz tylko, gdzie dokładnie należy importować dane: do bazy twojej strony na Lovable przez jego backend czy do osobnej bazy. Po tym wrócę z dokładną wyceną terminów.

Pokaż oryginał

Przetłumacz

Cześć! Mam duże doświadczenie w parsowaniu danych, moje prace możesz zobaczyć w portfolio na stronie. Oferuję wysoką jakość i szybką pracę. Możliwym problemem jest to, że strona pcgs aktywnie blokuje adresy IP przez boty, rozwiązaniem tego jest proxy rezydenckie. Pisz.

Pokaż oryginał

Przetłumacz

Witam. Mam duże doświadczenie w tworzeniu parserów w Pythonie. Jestem gotów do współpracy.

Pokaż oryginał

Przetłumacz

Cześć!

cena i terminy: 10000 UAH, od 2 dni do maksymalnie 1 tygodnia

Doświadczenie: parsowanie dużych katalogów, import do PostgreSQL, kolejki, deduplikacja, wznowienie po awarii. Niektóre parsery mogę przesłać w wiadomości prywatnej.

Etap 1
Szkielet jak ucoin.net: kraje, nominały, lata, regularne/jubileuszowe. Bez zdjęć i bez zbędnych kategorii. Filtry według Twoich kryteriów, import do struktury jak na /catalog/usa. Orientacyjnie ~100k kart, paczkami z logiem postępu.

… Etap 2
PCGS: zdjęcia + metadane (rok, ocena, cert itp.), powiązanie z kartami etapu 1. Przeszukiwanie 20-30 mln cert ID - nie robimy. Szukamy obejścia: struktura strony, wyszukiwanie według atrybutów, dopasowanie według kraju/roku/nominału. Logikę Twojego rozszerzenia Chrome - w automatyzację (Playwright + proxy dla US IP). Nie każda moneta będzie miała certyfikat - część ręcznie lub kolejka wyjątków.

Trudności
ucoin: limit szybkości, zmiany w układzie. PCGS: geoblokada, antybot. Dopasowanie nie jest 100%. Masowe kopiowanie danych/zdjęć - sprawdź ToS.

Od Ciebie: specyfikacja z pliku, lista wykluczonych kategorii, dostęp do Bazy Danych/API, przykłady URL PCGS do testów.

Jestem gotów doprecyzować zakres po dokumentacji.

Pokaż oryginał

Przetłumacz

Dzień dobry!

Parsowanie dużych katalogów to nasza specjalizacja, zadanie jest zrozumiałe. Projekt podzielę na dwa etapy, ponieważ różnią się one stopniem trudności.

Etap 1 — katalog ucoin.net → twoja strona (~100 000 kart):

parsowanie struktury według kryteriów (regularne monety + jubileuszowe, bez kolekcjonerskich);
karty: kraj → nominał → typ (rok, metal, średnica, KM#), bez zdjęć i zbędnych informacji;
import na twoją stronę na Lovable przez jego backend (Supabase API / bulk-import);
… pracujemy przez proxy i throttling, aby obejść limity. 100k — to duża ilość, ale całkowicie realna.
Etap 2 — PCGS (obrazy + metadane, powiązanie z kartami):
Tutaj istnieje rzeczywiste ograniczenie, które sam zauważyłeś. Przeszukiwanie 20–30 mln kolejnych stron certyfikatów — to nie jest opcja: to miesiące parsowania + gwarantowany ban, dodatkowo PCGS blokuje IP z Ukrainy (potrzebne są proxy z rezydentami USA).

Właściwa droga — najpierw rozpoznanie: znaleźć wewnętrzne API/endpoint PCGS, które zwraca dane certyfikatów w sposób zorganizowany (często takie strony ładują dane w osobnym żądaniu JSON — to wykorzystamy zamiast omijania HTML). Od wyników rozpoznania zależy, czy można całkowicie zautomatyzować proces, czy pozostanie półautomatyczny.

Możliwe trudności (jak prosiłeś): blokowanie IP na PCGS, brak struktury katalogowej PCGS, logika powiązania (certyfikat = konkretny egzemplarz, karta = typ monety — mapowanie według nominału/roku/stopnia), anty-bot przy dużych ilościach.

Mamy doświadczenie w parsowaniu dużych katalogów. Szczegóły dotyczące projektu, terminy i koszt — w wiadomości prywatnej. Jesteśmy gotowi do pracy.

Pokaż oryginał

Przetłumacz

Witam. Mogę zrealizować ten projekt. Mam już pewne materiały. Jeśli to aktualne - pisz, omówimy.

Pokaż oryginał

Przetłumacz

Dzień dobry, jestem gotów wykonać zamówienie i będę zadowolony z dalszej współpracy. Pisz tutaj na priv, prześlę ci przykłady moich prac. Mogę też przesłać link do portfolio)

Pokaż oryginał

Przetłumacz

Jestem gotów wykonać twoje zadanie, mam doświadczenie, pisz jeśli potrzebujesz, wtedy przeanalizuję i napiszę ci, jak widzę realizację.

Pokaż oryginał

Przetłumacz

Cześć.

Opracowuję parsery w NodeJS. Jestem gotów się tym zająć. Napisz, omówimy.

Pokaż oryginał

Przetłumacz

Cześć. Nazywam się Dmitrij. Zainteresował mnie Twój projekt. Mam doświadczenie w tworzeniu parserów, pracy z dużymi katalogami produktów oraz automatyzacji przetwarzania danych z późniejszym eksportem do baz danych, CRM i sklepów internetowych. Pracowałem z katalogami liczącymi dziesiątki i setki tysięcy pozycji, w tym zabezpieczenia przed blokadami, aktualizację danych według harmonogramu, przetwarzanie obrazów, cech i kategorii. Po wstępnej ocenie terminy i koszty zależą od objętości danych, struktury strony źródłowej oraz wymagań dotyczących aktualizacji katalogu, dlatego po zapoznaniu się z pełnym zakresem prac będę mógł podać dokładniejszą wycenę. Z możliwych trudności zazwyczaj występują ograniczenia ze strony strony źródłowej, ochrona przed parsowaniem, niestabilna struktura danych, ograniczenia prędkości zapytań oraz konieczność regularnej synchronizacji zmian. Wszystko to jest rozwiązywane na etapie projektowania architektury parsera. Jestem gotów zapoznać się z zakresem prac i zaproponować optymalną wersję realizacji z uwzględnieniem dalszej skalowalności projektu. 👍

Pokaż oryginał

Przetłumacz

Witam.\nJestem gotów podjąć się projektu jako programista Python.\nMam doświadczenie w parsowaniu dużych katalogów, przetwarzaniu dużych zbiorów danych, normalizacji atrybutów, usuwaniu duplikatów oraz imporcie danych na stronę/BD/API. Do realizacji mogę użyć Pythona, Scrapy/BeautifulSoup, Playwright/Selenium, requests/aiohttp, PostgreSQL/MySQL, kolejek i logowania.

Pokaż oryginał

Przetłumacz

Cześć! Zajmę się parsowaniem katalogu i zautomatyzowanym importem danych.

Przejrzałem wasz katalog (katalog coin na lovable.app) — zbiorę wszystkie pozycje z potrzebnymi polami (nazwa, rok, opis, cena, obraz, ID/link) i skonfiguruję automatyczny import do waszego systemu.

Odpowiadam na wasze pytania:
1. Koszt — w granicach waszego budżetu; czas realizacji to około 4 dni robocze (dokładnie potwierdzę po otrzymaniu specyfikacji i dostępu do docelowej bazy).
2. Mam doświadczenie w parsowaniu: piszę parsery w Pythonie (requests/httpx, BeautifulSoup/lxml, w razie potrzeby Playwright dla stron JS) z normalizacją, deduplikacją i eksportem do CSV/JSON/Bazy Danych; pracuję z dużymi wolumenami i automatyzacją importu.
3. Możliwe trudności, które uwzględnię od razu: dynamiczne ładowanie treści (renderowanie JS), limity/blokady przy częstych zapytaniach (wprowadzam throttling + retry), poprawne dopasowanie pól do waszego schematu bazy danych, przetwarzanie obrazów oraz inkrementalne aktualizacje (aby nie duplikować przy powtarzających się uruchomieniach).

… Dwa pytania:
1) Gdzie importujemy — wasza baza danych (jaka SGBD) / CMS / Google Sheet / API?
2) Parsowanie jednorazowe czy potrzebne regularne aktualizacje według harmonogramu?

Pracuję przez Safe.

Pokaż oryginał

Przetłumacz

Cześć!

Zapoznałem się z Twoim zadaniem - mam odpowiednie doświadczenie w podobnych projektach, więc rozumiem, jak zrealizować wszystko jakościowo i bez zbędnych opóźnień.

Mogę przystąpić do pracy od razu po uzgodnieniu szczegółów. Po zakończeniu również pomogę z konfiguracją, wdrożeniem i przekażę całą niezbędną dokumentację.
(wskazałem czas rozwoju parsera, a zbieranie danych tym parserem będzie nieco dłuższe)

Będę zadowolony ze współpracy!

Pokaż oryginał

Przetłumacz

Dzień dobry. Mogę zrealizować ten parser. Profesjonalnie zajmuję się parsowaniem o dowolnym stopniu skomplikowania, w tym omijaniem różnych zabezpieczeń przed botami. Pisałem bardzo skomplikowane i duże parsery. Na przykład parser copart.com, gdzie trzeba było sparsować 500 tys. samochodów w ciągu kilku godzin. Proszę o kontakt.

Pokaż oryginał

Przetłumacz

Cześć! Czy już zdecydowaliście się na priorytetowe źródła do parsowania, oprócz głównego katalogu?

Terminy i budżet ustalę w prywatnej korespondencji.

Oto jak zrealizuję ten projekt:
1. Przeprowadzę analizę struktury katalogu i określę optymalne punkty wejścia do zbierania danych.
2. Skonfiguruję asynchroniczny parser z obsługą paginacji i zabezpieczeniem przed blokadami.
3. Zrealizuję eksport danych w wygodnym formacie z filtrowaniem duplikatów.

… Dziękuję za rozważenie mojej propozycji. Z niecierpliwością czekam na możliwość współpracy z Wami!

Pokaż oryginał

Przetłumacz

Dzień dobry! Mamy duże doświadczenie w parsowaniu dużych katalogów z omijaniem zabezpieczeń i automatyzacją importu przez API. Realizujemy to za pomocą Pythona, korzystając z bibliotek Playwright i Scrapy. Główne trudności widzimy w dynamicznym ładowaniu treści oraz limitach na zapytania, które skutecznie niwelujemy poprzez rotację proxy. Jesteśmy gotowi omówić szczegóły realizacji po zapoznaniu się z TŻ.

Cena za cały projekt

Pokaż oryginał

Przetłumacz

Parser z stabilnym zbieraniem danych — zadanie robocze. Z przetwarzaniem danych i logiką backendową pracuję na stałe.

Pokaż oryginał

Przetłumacz

Dzień dobry!

Jestem gotów zająć się opracowaniem parsera katalogu i automatyzacją importu danych. Posiadam doświadczenie w pracy z dużymi katalogami, w tym z wykorzystaniem proxy i API. Orientacyjny koszt i terminy zostaną ustalone po zapoznaniu się z TZ.

Główne trudności mogą wystąpić w związku ze zmianami w strukturze strony źródłowej oraz blokadami IP.

Napisz do mnie, aby wyjaśnić szczegóły.

Pokaż oryginał

Przetłumacz