Potrzebny parser sklepu internetowego https://www.lcsc.com/

Cześć!

Przejrzałem stronę i zadanie — wszystko jasne.

Kluczowy punkt, który jest ważny przy takiej ilości (650k produktów):
LCSC zwraca nie więcej niż 5000 produktów na zapytanie przez
wewnętrzne API JSON. Dlatego będę używał
rekursywnego przeszukiwania podkategorii z mikrofiltrowaniem —
aby każda próbka była mniejsza niż limit.
…
Co zrealizuję:
— Skrypt w Pythonie z bezpośrednimi zapytaniami do API JSON LCSC
(szybsze i stabilniejsze niż parsowanie HTML)
— Filtr tylko produktów "Dostępnych"
— Zapisywanie postępu (checkpoint) — przy przerwaniu
skrypt kontynuuje z miejsca zatrzymania, a nie od zera
— Logowanie postępu — widać ile % zebrano
— Eksport do XLSX dokładnie według w

Pokaż oryginał

Przetłumacz

Cześć.

Zadanie jest jasne: potrzebny jest nie jednorazowy skrypt, a stabilny skrypt, który można uruchamiać regularnie i otrzymywać aktualny XLSX z produktami LCSC tylko ze statusem In Stock.

Przejrzałem przykład pliku: struktura jest zrozumiała - sekcja, MPN, producent, dostępność, opis, opakowanie i 4 pary ilość/cena. Zrobię eksport w takim samym formacie, aby plik można było od razu wykorzystać dalej.

Przy takiej objętości ważne jest, aby nie parsować HTML „na żywo”, a najpierw sprawdzić wewnętrzne zapytania API LCSC. To jest szybsze, stabilniejsze i łatwiejsze do utrzymania przy zmianach na stronie. Dodałbym również zapis postępu, powtórzenia w przypadku błędów, logowanie i możliwość ponownego uruchomienia bez utraty już zebranych danych.

Mój stos: JavaScript/TypeScript, REST API, praca z danymi i automatyzacja. Mogę zrobić skrypt z ręcznym uruchomieniem, a w razie potrzeby przygotować wersję do comiesięcznego uruchamiania.
…
Pytanie: potrzebny jest tylko końcowy XLSX po każdym uruchomieniu, czy również potrzebny jest pośredni cache/baza, aby przy następnym uruchomieniu aktualizować dane szybciej?

Pokaż oryginał

Przetłumacz

Dzień dobry! Pisałem parsery katalogów elektroniki pod klucz — z paginacją, filtrem „Dostępne” i eksportem poziomów cenowych do XLSX, więc format z waszymi 8 kolumnami według ilości/ceny zrobię jeden-do-jednego. Przy takiej objętości (650k pozycji) zbiorę przez ich wewnętrzne API — to szybsze i stabilniejsze niż HTML, a skrypt pozostanie do uruchomienia co miesiąc. Orientacyjnie 4-5 dni. Proszę powiedzieć, czy potrzebne są teraz tylko dostępne produkty, czy cały katalog z oznaczeniem dostępności?

Pokaż oryginał

Przetłumacz

Cześć! Widzę, że budżet projektu pozwala podejść do zadania poważnie. 650 000 produktów to obciążenie, które wymaga zbudowania prawdziwego Data Pipeline, a nie prostego skryptu-parsowania. Moje rozwiązanie to stworzenie niezawodnego systemu zbierania danych, który gwarantuje, że dokończy pracę, nawet jeśli internet zniknie lub strona tymczasowo zablokuje IP.

Dlaczego moje rozwiązanie to inwestycja, a nie tylko kod:

1. Architektura "Resumable Download": Największym problemem przy zbieraniu 650k rekordów jest przerywanie pracy. Mój program zapisuje stan kolejki w SQLite. Jeśli skrypt zatrzyma się na 300. tysiącu, uruchomisz go ponownie, a on wznowi od 300 001 produktu, a nie zacznie od zera.
2. Profesjonalna praca z danymi (Stream processing): Skrypt nie przeciąża pamięci RAM. Odczytuje i zapisuje dane strumieniowo, więc nawet plik o setkach megabajtów generowany jest na każdym VPS.
3. Podejście API-First: Nie będę naśladować kliknięć przycisków. Skrypt działa bezpośrednio z wewnętrznym JSON API strony. Zapewnia to maksymalną prędkość (milisekundy na zapytanie) i trwałość (skrypt nie "umrze" przy zmianie designu strony).
4. Skalowalność pod doopracowanie: Kod napisany jest na podstawie czystych klas PHP (SOLID). Jeśli struktura danych na LCSC się zmieni lub będziesz potrzebować dodać nową kolumnę — to robi się zmieniając 3-4 linijki w konfiguracji.
5. Ochrona przed banami: Wbudowana logika rotacji proxy, naśladowanie "ludzkich" przerw oraz obsługa błędów HTTP (429, 503), aby obejść systemy antyfraudowe LCSC.
…
• Technologie: Pure PHP 8.x (CLI), Guzzle (Async), SQLite (zarządzanie stanem), FastExcel.
• Koszt: 16 000 UAH (pełny rozwój, konfiguracja logiki proxy i instrukcja uruchomienia).
• Termin: 6 dni (z uwzględnieniem czasu na testy obciążeniowe).

Oferuję jakość inżynieryjną, która uwolni Cię od konieczności zatrudniania kogoś do wsparcia tego skryptu w przyszłości. Gotowy do rozpoczęcia pracy!

Pokaż oryginał

Przetłumacz

Cześć!

Zadanie jest jasne: należy regularnie zbierać z LCSC wszystkie produkty „In Stock” we wszystkich działach katalogu i eksportować je do XLSX w ściśle określonym formacie.

Co mogę zrealizować:
— stabilny parser dla dużych zbiorów danych (~650 000 produktów) z przejściem przez wszystkie kategorie;
— eksport do Excela z wymaganymi kolumnami: dział, MPN, producent, dostępność, opis, opakowanie, ceny;
— uruchamianie za pomocą przycisku lub według harmonogramu + możliwość dalszej obróbki, jeśli struktura katalogu się zmieni.

… Pracuję z Pythonem, dużymi parserami, eksportem do Excela i wsparciem takich skryptów, dlatego mogę stworzyć nie jednorazowy zbiór, a narzędzie robocze do regularnego użytku.

Pokaż oryginał

Przetłumacz

Cześć!

Zapoznałem się z Twoim TZ i załączonym przykładem pliku. Zadanie jest jasne: potrzebny jest regularny zrzut katalogu LCSC.com (tylko produkty "In Stock", około 650 tys. pozycji) z poprawnym podziałem na siatkę cen hurtowych (Ilość/Cena do 4 poziomów) w formacie XLSX.

Jestem programistą Pythona i specjalizuję się w tworzeniu wysokoobciążonych parserów oraz pracy z Data-pipeline.

Wielu programistów proponuje parsowanie takich stron przez emulację przeglądarki (Selenium), ale przy objętości 650 000 produktów będzie to działać przez dni.

Jak zrealizuję ten parser (Architektura rozwiązania):
…
Praca bezpośrednio z Backend API: LCSC.com dynamicznie ładuje produkty przez ukryte punkty końcowe JSON API. Napiszę skrypt, który będzie bezpośrednio odwoływał się do tych API. To przyspieszy zbieranie danych 100 razy.

Obchodzenie limitu 5000 produktów: Platforma nie pozwala na przewijanie więcej niż 50-100 stron paginacji na raz. Aby wydobyć wszystkie 650 tys., napiszę algorytm głębokiego przeszukiwania (Deep Crawl), który będzie rekurencyjnie zagłębiał się w podkategorie i stosował mikro-filtry, aby w każdej próbce było mniej niż 5000 produktów.

Szybkość i stabilność: Zbuduję skrypt na asynchronicznym silniku (Aiohttp/Asyncio). Dodamy rotację proxy (proxy wliczymy w budżet) oraz system retry. Jeśli LCSC tymczasowo zablokuje IP, parser po prostu zmieni proxy, poczeka kilka sekund i wznowi pracę z miejsca przerwania.

Tworzenie XLSX: Dynamiczne parsowanie siatki cenowej (Pricing tiers) i zapis w potrzebnym formacie (8 kolumn dla cen) za pomocą biblioteki pandas. Plik nie będzie ważył gigabajtów i łatwo otworzy się w Excelu.

Skrypt będzie wyposażony w konfigurację i szczegółowy logger (abyś widział, jaki procent katalogu już został zebrany). Przy zmianie struktury strony (jeśli zaktualizują API), kod łatwo się skalowuje i poprawia, ponieważ piszę w ścisłym stylu OOP.

Jestem gotów do startu od razu. Napisz w wiadomościach prywatnych, a pokażę, jak dokładnie będziemy wydobywać matrycę cen!

Pokaż oryginał

Przetłumacz

Dzień dobry. Mogę zrealizować taki parser, a także jego comiesięczne omawianie (ręczne lub automatyczne). Jednak warto omówić szczegóły. Czy możemy porozmawiać na prywatnej wiadomości?

Pokaż oryginał

Przetłumacz

Cześć!

Mam duże doświadczenie w opracowywaniu rozwiązań do parsowania i przetwarzania danych (różne źródła, ochrona przed blokadami, automatyzacja). Jestem gotów zrealizować postawione zadanie w najkrótszym czasie.

Proponuję omówić szczegóły w wiadomościach prywatnych.

Pokaż oryginał

Przetłumacz

Cześć! Gotowy do współpracy. Mam doświadczenie w tworzeniu parserów. Oferuję wysoką jakość i szybką pracę. Piszcie)

Pokaż oryginał

Przetłumacz

Mogę pomóc w wykonaniu, mają również API, które ułatwia pracę.

Pokaż oryginał

Przetłumacz

Witaj. Zrozumiałem zadanie: potrzebny jest skrypt, który po uruchomieniu przeszukuje cały katalog lcsc.com we wszystkich działach, bierze tylko produkty dostępne w magazynie, około 650 tysięcy pozycji, i eksportuje je do XLSX z kolumnami dział, MPN, producent, dostępność, opis, obudowa oraz pary cenowe ilość i cena na czterech poziomach. Uruchamiany raz w miesiącu lub ręcznie, plus możliwość edycji w przypadku zmian w strukturze katalogu.

Co do realizacji: lcsc ma wewnętrzne API JSON, które zwraca katalog strona po stronie, dlatego w pierwszej kolejności rozważyłbym pracę bezpośrednio z tymi zapytaniami, a nie parsowanie HTML. To jest szybsze, stabilniejsze przy objętości pół miliona pozycji i łatwiejsze do naprawy w przypadku zmian. Jeśli część danych jest zamknięta lub chroniona, dodam Selenium tylko do problematycznych obszarów.

Przy objętości 650 tysięcy ważna jest stabilność, dlatego uwzględniłbym wznowienie z miejsca przerwania, kontrolę duplikatów według MPN, staranne przerwy i ponowne próby pod kątem antybota, w razie potrzeby proxy, plus postęp w logu, aby proces można było wznowić bez utraty zebranych danych. Eksport do XLSX przez pandas lub openpyxl z dokładnie taką strukturą kolumn, jak w specyfikacji, w tym cztery pary ilość i cena.

Piszę parsery w Pythonie z Selenium, BeautifulSoup i pandas od dawna. Aby dokładniej ocenić: czy potrzebne są dokładnie te poziomy cenowe, które są pokazane dla detalicznej ilości, czy ważne są wszystkie poziomy hurtowe ze strony produktu? Od tego zależy, ile zapytań na pozycję. Jestem gotów zacząć od analizy struktury ich API w kilku działach, aby ustalić format eksportu i czas.

Pokaż oryginał

Przetłumacz

Dzień dobry. Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.

Pokaż oryginał

Przetłumacz

gotowy wykonać twoje zadanie, pisz w celu omówienia szczegółów..........................

Pokaż oryginał

Przetłumacz

Dzień dobry.

Przejrzałem przykład pliku — struktura jest zrozumiała, zadanie jasne.

Proponuję skrypt w Pythonie z dwoma trybami pracy:

1. Przez API LCSC — jeśli jest dostęp:
— Zapytania wsadowe po 100–200 produktów na raz
— 650 000 produktów — około 1–2 godzin
…
2. Przez Playwright (parsowanie przeglądarkowe) — jeśli API jest niedostępne:
— Strona po stronie, omijanie ochrony anti-bot
— 650 000 produktów — 8–12 godzin, zalecam uruchomienie na VPS

Co wchodzi w obu przypadkach:
— Przeglądanie wszystkich sekcji, filtr „In Stock”
— Eksport 14 kolumn w formacie twojego przykładu
— Zachowanie postępu (checkpoint) — w przypadku przerwania skrypt kontynuuje z miejsca zatrzymania
— Dokumentacja i możliwość edycji przy zmianie struktury strony

Koszt: 8 000 – 12 000 UAH. Termin: 5–7 dni.

Proszę o potwierdzenie: czy masz dostęp do API LCSC?

Pokaż oryginał

Przetłumacz

Dzień dobry.
Mam duże doświadczenie w parsowaniu, w tym produktów z sklepów internetowych, a nie z eksportów XML.
Również parsowałem dla siebie części samochodowe i motocyklowe oraz odzież z kilku źródeł - gdzie jest ogromna ilość produktów.
Nawet miałem doświadczenie w parsowaniu baz danych stron z krajów WNP.
Ogólnie mam wystarczające doświadczenie, aby wykonać Twoje zadanie jakościowo i w najkrótszym czasie.
Zadanie jest jasne, mogę przystąpić do pracy od razu.

Pokaż oryginał

Przetłumacz

Dzień dobry, zainteresował mnie wasz projekt, porozmawiajmy o szczegółach na czacie

Pokaż oryginał

Przetłumacz

Dobry wieczór, jestem gotów zrealizować zamówienie i będę zadowolony z dalszej współpracy. Pisz tutaj na priv, prześlę ci przykłady moich prac. Mogę też przesłać link do portfolio)

Pokaż oryginał

Przetłumacz

Cześć.

Opracowuję parsery w NodeJS. Jestem gotów się tym zająć. Napisz, omówimy.

Pokaż oryginał

Przetłumacz

Piszę parsery w Pythonie dla różnych, proszę się zgłaszać, wszystko zrobimy.

Pokaż oryginał

Przetłumacz

Gotowy, aby się tym zająć. Należy wyjaśnić szczegóły zamówienia, pisz! Używam python, uv, github, docker.

Pokaż oryginał

Przetłumacz

Już zrobiłem skrypt w Pythonie. Jest tam miliony produktów. Będzie trzeba podzielić na pliki. I robić przerwy między zapytaniami do strony, bo zablokują. Mogę pokazać gotowy plik na 800 produktów. Proszę o kontakt w celu wyjaśnienia końcowego wyniku.

Pokaż oryginał

Przetłumacz

Dzień dobry, programowaniem w sieci zajmuję się od ponad 9 lat. Pracuję z REST API, frameworkami i CMS-ami takimi jak Django, Laravel, Yii2, WP, OpenCart, CodeIgniter itd. Jestem gotów wykonać zadanie. Opinie: Freelancehunt

Pokaż oryginał

Przetłumacz

Cześć, jestem gotów zająć się projektem, mam doświadczenie, czekam na odpowiedź.

Pokaż oryginał

Przetłumacz

Dzień dobry! Specjalizuję się w tworzeniu parserów i automatyzacji. Jestem gotów zrealizować parser LCSC.com w Pythonie do regularnego zbierania aktualnych produktów "In Stock" w XLSX, z możliwością dalszego wsparcia. Mam doświadczenie w web scraping i dużych zbiorach danych.

Napisz na priv, ustalimy szczegóły.

Pokaż oryginał

Przetłumacz

Cześć!

Zapoznałem się z Twoim zadaniem i przejrzałem załączony przykład pliku CSV. Zadanie jest całkowicie zrozumiałe — trzeba napisać parser dla strony lcsc.com, który zbierze potrzebne dane o komponentach i dokładnie odwzoruje wymaganą przez Ciebie strukturę tabeli.

Jak to zrealizuję:
Napiszę niezawodny skrypt w Pythonie. Jeśli strona korzysta z dynamicznego ładowania lub zabezpieczeń, użyję narzędzi do symulacji prawdziwej przeglądarki, aby uniknąć blokad. Skrypt automatycznie przejdzie przez kategorie/linki, zbierze artykuły, ceny i inne cechy, po czym utworzy gotowy plik (CSV/Excel) dokładnie według Twojego szablonu.

Kod będzie czysty i udokumentowany, abyś mógł go uruchamiać samodzielnie w przyszłości. W razie potrzeby mogę spakować wszystko w Docker.

… Pytanie dodatkowe:
Czy parsowanie potrzebne jest jednorazowo (po prostu zebrać bazę na teraz), czy ten skrypt ma być uruchamiany regularnie w celu aktualizacji stanów i cen?

Pokaż oryginał

Przetłumacz

Dzień dobry. Zapoznałem się z witryną. Mogę napisać parser, który umieści potrzebne dane w tabeli Excel.

Pokaż oryginał

Przetłumacz

Dzień dobry. Mogę napisać program konsolowy do parsowania tych produktów w Pythonie. Załączony plik z jakiegoś powodu się nie otwiera - czy możesz wysłać go ponownie w wiadomości prywatnej?

Pokaż oryginał

Przetłumacz

Witam. Mam duże doświadczenie w tworzeniu parserów. Jestem gotowy do współpracy.

Pokaż oryginał

Przetłumacz

Napiszę parser, umieszczę na swoich zasobach z dalszym wsparciem.\nAby zebrać taką ilość, potrzebne są proxy, które będą włączone w wsparcie.\nStrona zwraca nie więcej niż 5000 produktów na raz, potrzebne jest podział według filtrów.\nPiszcie, omówimy szczegóły.

Pokaż oryginał

Przetłumacz

Witam! Napiszę skrypt dostosowany do Twoich potrzeb, który będzie przechodził przez strony paginacji wszystkich działów i uzyskiwał informacje o dostępności i cenach produktów.

Pokaż oryginał

Przetłumacz

Cześć, jestem programistą Pythona, mam doświadczenie w tworzeniu parserów o różnym stopniu skomplikowania. Mogę szybko i jakościowo zrealizować Twój projekt. Napisz - omówimy szczegóły. Jestem gotów do pracy już dzisiaj.

Pokaż oryginał

Przetłumacz

Dzień dobry, mogę stworzyć program i oddać go Panu, lub mogę zbierać dane na Pana prośbę. Proszę pisać, omówimy.

Pokaż oryginał

Przetłumacz

Cześć! Dokładnie zapoznałem się z twoim projektem i jestem gotów przystąpić do jego realizacji. Porozmawiajmy o szczegółach, aby jak najlepiej go wykonać.

Pokaż oryginał

Przetłumacz