Potrzebny parser sklepu internetowego https://www.lcsc.com/
należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie
z katalogu wszystkich działów
tylko produkty "In Stock" (około 650 000 produktów)
dane powinny być wyeksportowane do pliku XLSX w formacie (według kolumn):
Nazwa działu, MPN, Producent, Dostępność, Opis, Opakowanie, Ceny (8 kolumn typu: Ilość1, Cena1, Ilość2, Cena2, Ilość3, Cena3, Ilość4, Cena4)
możliwość dalszej obróbki i korekty skryptu przy zmianie struktury parsowanego katalogu
Załączniki 1
-
1 dzień164 PLN
1 dzień164 PLN
Dzień dobry
Przejrzałem stronę i jestem gotów napisać parser wysokiej jakości
Cena zależy od szczegółów specyfikacji
Proszę o kontakt
-
5 dni132 PLN
5 dni132 PLN
Dzień dobry. Jestem gotów do wykonania, ostateczna cena zależy od szczegółów, które trzeba omówić. Podaję minimalnie możliwą.
-
4 dni329 PLN
1520 2 0 4 dni329 PLN
Cześć!
Zapoznałem się z Twoim TZ i załączonym przykładem pliku. Zadanie jest jasne: potrzebny jest regularny zrzut katalogu LCSC.com (tylko produkty "In Stock", około 650 tys. pozycji) z poprawnym podziałem na siatkę cen hurtowych (Ilość/Cena do 4 poziomów) w formacie XLSX.
Jestem programistą Pythona i specjalizuję się w tworzeniu wysokoobciążonych parserów oraz pracy z Data-pipeline.
Wielu programistów proponuje parsowanie takich stron przez emulację przeglądarki (Selenium), ale przy objętości 650 000 produktów będzie to działać przez dni.
Jak zrealizuję ten parser (Architektura rozwiązania):
…
Praca bezpośrednio z Backend API: LCSC.com dynamicznie ładuje produkty przez ukryte punkty końcowe JSON API. Napiszę skrypt, który będzie bezpośrednio odwoływał się do tych API. To przyspieszy zbieranie danych 100 razy.
Obchodzenie limitu 5000 produktów: Platforma nie pozwala na przewijanie więcej niż 50-100 stron paginacji na raz. Aby wydobyć wszystkie 650 tys., napiszę algorytm głębokiego przeszukiwania (Deep Crawl), który będzie rekurencyjnie zagłębiał się w podkategorie i stosował mikro-filtry, aby w każdej próbce było mniej niż 5000 produktów.
Szybkość i stabilność: Zbuduję skrypt na asynchronicznym silniku (Aiohttp/Asyncio). Dodamy rotację proxy (proxy wliczymy w budżet) oraz system retry. Jeśli LCSC tymczasowo zablokuje IP, parser po prostu zmieni proxy, poczeka kilka sekund i wznowi pracę z miejsca przerwania.
Tworzenie XLSX: Dynamiczne parsowanie siatki cenowej (Pricing tiers) i zapis w potrzebnym formacie (8 kolumn dla cen) za pomocą biblioteki pandas. Plik nie będzie ważył gigabajtów i łatwo otworzy się w Excelu.
Skrypt będzie wyposażony w konfigurację i szczegółowy logger (abyś widział, jaki procent katalogu już został zebrany). Przy zmianie struktury strony (jeśli zaktualizują API), kod łatwo się skalowuje i poprawia, ponieważ piszę w ścisłym stylu OOP.
Jestem gotów do startu od razu. Napisz w wiadomościach prywatnych, a pokażę, jak dokładnie będziemy wydobywać matrycę cen!
-
3 dni164 PLN
1984 25 1 3 dni164 PLN
Dzień dobry. Mogę zrealizować taki parser, a także jego comiesięczne omawianie (ręczne lub automatyczne). Jednak warto omówić szczegóły. Czy możemy porozmawiać na prywatnej wiadomości?
-
1 dzień82 PLN
1580 3 0 1 dzień82 PLN
Cześć!
Mam duże doświadczenie w opracowywaniu rozwiązań do parsowania i przetwarzania danych (różne źródła, ochrona przed blokadami, automatyzacja). Jestem gotów zrealizować postawione zadanie w najkrótszym czasie.
Proponuję omówić szczegóły w wiadomościach prywatnych.
-
3 dni288 PLN
702 1 0 3 dni288 PLN
Cześć! Gotowy do współpracy. Mam doświadczenie w tworzeniu parserów. Oferuję wysoką jakość i szybką pracę. Piszcie)
-
2 dni123 PLN
2546 41 3 1 2 dni123 PLN
Mogę pomóc w wykonaniu, mają również API, które ułatwia pracę.
-
2 dni164 PLN
2116 20 0 2 dni164 PLN
Witaj. Zrozumiałem zadanie: potrzebny jest skrypt, który po uruchomieniu przeszukuje cały katalog lcsc.com we wszystkich działach, bierze tylko produkty dostępne w magazynie, około 650 tysięcy pozycji, i eksportuje je do XLSX z kolumnami dział, MPN, producent, dostępność, opis, obudowa oraz pary cenowe ilość i cena na czterech poziomach. Uruchamiany raz w miesiącu lub ręcznie, plus możliwość edycji w przypadku zmian w strukturze katalogu.
Co do realizacji: lcsc ma wewnętrzne API JSON, które zwraca katalog strona po stronie, dlatego w pierwszej kolejności rozważyłbym pracę bezpośrednio z tymi zapytaniami, a nie parsowanie HTML. To jest szybsze, stabilniejsze przy objętości pół miliona pozycji i łatwiejsze do naprawy w przypadku zmian. Jeśli część danych jest zamknięta lub chroniona, dodam Selenium tylko do problematycznych obszarów.
Przy objętości 650 tysięcy ważna jest stabilność, dlatego uwzględniłbym wznowienie z miejsca przerwania, kontrolę duplikatów według MPN, staranne przerwy i ponowne próby pod kątem antybota, w razie potrzeby proxy, plus postęp w logu, aby proces można było wznowić bez utraty zebranych danych. Eksport do XLSX przez pandas lub openpyxl z dokładnie taką strukturą kolumn, jak w specyfikacji, w tym cztery pary ilość i cena.
Piszę parsery w Pythonie z Selenium, BeautifulSoup i pandas od dawna. Aby dokładniej ocenić: czy potrzebne są dokładnie te poziomy cenowe, które są pokazane dla detalicznej ilości, czy ważne są wszystkie poziomy hurtowe ze strony produktu? Od tego zależy, ile zapytań na pozycję. Jestem gotów zacząć od analizy struktury ich API w kilku działach, aby ustalić format eksportu i czas.
-
1 dzień411 PLN
172 1 1 1 dzień411 PLN
Dzień dobry. Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.
-
1 dzień82 PLN
1490 28 0 1 dzień82 PLN
gotowy wykonać twoje zadanie, pisz w celu omówienia szczegółów..........................
-
1 dzień58 PLN
448 1 0 1 dzień58 PLN
Dzień dobry.
Przejrzałem przykład pliku — struktura jest zrozumiała, zadanie jasne.
Proponuję skrypt w Pythonie z dwoma trybami pracy:
1. Przez API LCSC — jeśli jest dostęp:
— Zapytania wsadowe po 100–200 produktów na raz
— 650 000 produktów — około 1–2 godzin
…
2. Przez Playwright (parsowanie przeglądarkowe) — jeśli API jest niedostępne:
— Strona po stronie, omijanie ochrony anti-bot
— 650 000 produktów — 8–12 godzin, zalecam uruchomienie na VPS
Co wchodzi w obu przypadkach:
— Przeglądanie wszystkich sekcji, filtr „In Stock”
— Eksport 14 kolumn w formacie twojego przykładu
— Zachowanie postępu (checkpoint) — w przypadku przerwania skrypt kontynuuje z miejsca zatrzymania
— Dokumentacja i możliwość edycji przy zmianie struktury strony
Koszt: 8 000 – 12 000 UAH. Termin: 5–7 dni.
Proszę o potwierdzenie: czy masz dostęp do API LCSC?
-
2 dni411 PLN
3926 15 0 2 dni411 PLN
Dzień dobry.
Mam duże doświadczenie w parsowaniu, w tym produktów z sklepów internetowych, a nie z eksportów XML.
Również parsowałem dla siebie części samochodowe i motocyklowe oraz odzież z kilku źródeł - gdzie jest ogromna ilość produktów.
Nawet miałem doświadczenie w parsowaniu baz danych stron z krajów WNP.
Ogólnie mam wystarczające doświadczenie, aby wykonać Twoje zadanie jakościowo i w najkrótszym czasie.
Zadanie jest jasne, mogę przystąpić do pracy od razu.
-
3 dni535 PLN
2662 56 0 3 dni535 PLN
Dzień dobry, zainteresował mnie wasz projekt, porozmawiajmy o szczegółach na czacie
-
2 dni181 PLN
346 3 0 2 dni181 PLN
Dobry wieczór, jestem gotów zrealizować zamówienie i będę zadowolony z dalszej współpracy. Pisz tutaj na priv, prześlę ci przykłady moich prac. Mogę też przesłać link do portfolio)
-
1 dzień164 PLN
10130 117 0 1 dzień164 PLN
Cześć.
Opracowuję parsery w NodeJS. Jestem gotów się tym zająć. Napisz, omówimy.
-
3 dni206 PLN
4189 123 0 3 dni206 PLN
Piszę parsery w Pythonie dla różnych, proszę się zgłaszać, wszystko zrobimy.
-
3 dni164 PLN
3224 84 0 3 dni164 PLN
Gotowy, aby się tym zająć. Należy wyjaśnić szczegóły zamówienia, pisz! Używam python, uv, github, docker.
-
2 dni164 PLN
318 2 dni164 PLN
Już zrobiłem skrypt w Pythonie. Jest tam miliony produktów. Będzie trzeba podzielić na pliki. I robić przerwy między zapytaniami do strony, bo zablokują. Mogę pokazać gotowy plik na 800 produktów. Proszę o kontakt w celu wyjaśnienia końcowego wyniku.
-
2 dni164 PLN
1602 31 1 2 dni164 PLN
Dzień dobry, programowaniem w sieci zajmuję się od ponad 9 lat. Pracuję z REST API, frameworkami i CMS-ami takimi jak Django, Laravel, Yii2, WP, OpenCart, CodeIgniter itd. Jestem gotów wykonać zadanie. Opinie:
Freelancehunt
-
3 dni82 PLN
368 1 0 3 dni82 PLN
Cześć, jestem gotów zająć się projektem, mam doświadczenie, czekam na odpowiedź.
-
3 dni82 PLN
4987 41 4 1 3 dni82 PLN
Dzień dobry! Specjalizuję się w tworzeniu parserów i automatyzacji. Jestem gotów zrealizować parser LCSC.com w Pythonie do regularnego zbierania aktualnych produktów "In Stock" w XLSX, z możliwością dalszego wsparcia. Mam doświadczenie w web scraping i dużych zbiorach danych.
Napisz na priv, ustalimy szczegóły.
-
3 dni247 PLN
321 3 dni247 PLN
Cześć!
Zapoznałem się z Twoim zadaniem i przejrzałem załączony przykład pliku CSV. Zadanie jest całkowicie zrozumiałe — trzeba napisać parser dla strony lcsc.com, który zbierze potrzebne dane o komponentach i dokładnie odwzoruje wymaganą przez Ciebie strukturę tabeli.
Jak to zrealizuję:
Napiszę niezawodny skrypt w Pythonie. Jeśli strona korzysta z dynamicznego ładowania lub zabezpieczeń, użyję narzędzi do symulacji prawdziwej przeglądarki, aby uniknąć blokad. Skrypt automatycznie przejdzie przez kategorie/linki, zbierze artykuły, ceny i inne cechy, po czym utworzy gotowy plik (CSV/Excel) dokładnie według Twojego szablonu.
Kod będzie czysty i udokumentowany, abyś mógł go uruchamiać samodzielnie w przyszłości. W razie potrzeby mogę spakować wszystko w Docker.
… Pytanie dodatkowe:
Czy parsowanie potrzebne jest jednorazowo (po prostu zebrać bazę na teraz), czy ten skrypt ma być uruchamiany regularnie w celu aktualizacji stanów i cen?
-
2 dni164 PLN
2742 76 1 2 dni164 PLN
Dzień dobry. Zapoznałem się z witryną. Mogę napisać parser, który umieści potrzebne dane w tabeli Excel.
-
20 dni1645 PLN
1825 52 0 20 dni1645 PLN
Dzień dobry. Mogę napisać program konsolowy do parsowania tych produktów w Pythonie. Załączony plik z jakiegoś powodu się nie otwiera - czy możesz wysłać go ponownie w wiadomości prywatnej?
-
2 dni206 PLN
94002 1264 1 10 2 dni206 PLN
Witam. Mam duże doświadczenie w tworzeniu parserów. Jestem gotowy do współpracy.
-
7 dni914 PLN
1788 20 0 7 dni914 PLN
Napiszę parser, umieszczę na swoich zasobach z dalszym wsparciem.\nAby zebrać taką ilość, potrzebne są proxy, które będą włączone w wsparcie.\nStrona zwraca nie więcej niż 5000 produktów na raz, potrzebne jest podział według filtrów.\nPiszcie, omówimy szczegóły.
-
1 dzień123 PLN
3411 32 0 1 dzień123 PLN
Witam! Napiszę skrypt dostosowany do Twoich potrzeb, który będzie przechodził przez strony paginacji wszystkich działów i uzyskiwał informacje o dostępności i cenach produktów.
-
1 dzień132 PLN
4575 50 1 1 dzień132 PLN
Cześć, jestem programistą Pythona, mam doświadczenie w tworzeniu parserów o różnym stopniu skomplikowania. Mogę szybko i jakościowo zrealizować Twój projekt. Napisz - omówimy szczegóły. Jestem gotów do pracy już dzisiaj.
-
1 dzień123 PLN
6850 164 1 1 dzień123 PLN
Dzień dobry, mogę stworzyć program i oddać go Panu, lub mogę zbierać dane na Pana prośbę. Proszę pisać, omówimy.
-
3 dni164 PLN
726 9 1 3 dni164 PLN
Cześć! Dokładnie zapoznałem się z twoim projektem i jestem gotów przystąpić do jego realizacji. Porozmawiajmy o szczegółach, aby jak najlepiej go wykonać.
-
Zadaj swoje pytanie zleceniodawcy
Charków