Parsowanie stron dostawców
Jest około 30 stron dostawców.
na każdej stronie logowanie za pomocą loginu i hasła. (niektóre bez autoryzacji)
strony na różnych platformach,
dostawcy nie mają eksportów XML.
teraz działa system parsowania, ale chcemy wszystko przepisać lub poprawić w nowocześniejszy sposób.
Obecnie zrealizowana jest prosta strona z wyszukiwarką, raz dziennie w nocy odbywa się parsowanie.
Wynik daje: zdjęcie, nazwa, cena, dostępność i imię dostawcy.
Jeśli wszystko przepisywać od zera, to oto :
http://b2b.spartakelectronics.com/ru/login
http://www.golden-house.od.ua/
https://tec-star.com.ua/
http://masterberg.com.ua
https://elite-top.com.ua/
http://www.dtopelectronic.com.ua/
https://daikens.com.ua/
https://rainberg.in.ua/
https://lambix.prom.ua/g35022709-tovar
https://magnitopt.com.ua
https://shop-euromax.od.ua/
http://texnano.com.ua
https://hi-tech-odessa.com.ua/
https://b2b.delltalife.com/login/
http://www.andopt2.com.ua/
https://www.smartopt.com.ua/
https://matrix7km.com/
Melad.com.ua
https://venera7km.com.ua/
https://domte.com.ua/
http://hj-pheenecs.com.ua/
Te należy dodać:
https://bmaudio.com.ua/
https://atlanfa.com.ua/
http://www.gold-tor.com.ua/
http://asad.in.ua
Te przestały działać:
https://jarviz-opt.com.ua/
jmaxtvshop.com.ua
https://211.in.ua
http://www.top-kitchen.com.ua/
Obecna wersja napisana jest w pythonie z bibliotekami requests, bs4, lxml
W wideo obecna wersja
Cena i terminy oraz jak najlepiej to zrobić
Załączniki 1
-
7 dni1655 PLN
7 dni1655 PLN
Napiszę wszystko jakościowo od zera, używając szybkiej asynchronicznej biblioteki do parsowania, a także napiszę stronę internetową do wyszukiwania w bardziej nowoczesny sposób.
-
70 dni2235 PLN
70 dni2235 PLN
Dzień dobry. Długoterminowy projekt, ale jestem gotów rozważyć. Od razu powiem, że w momencie pisania oferty nie przeglądałem stron. Zostawiam ofertę, abyście mogli zrozumieć przybliżone terminy i budżet - podaję minimalne, za które jestem gotów rozważyć Waszą propozycję. Jeśli przybliżona ocena Wam odpowiada - piszcie, będziemy się umawiać na dokładną.
P. S. Maksymalny budżet zwykłego Sejfu - 27 tysięcy hrywien. Moja oferta - 30 tysięcy.
-
5 dni1366 PLN
66 5 dni1366 PLN
Cześć, mam duże doświadczenie w tworzeniu parserów i potrafię pracować z witrynami.
Możemy umieścić stronę na hostingu, a jeśli potrzebujesz, na twojej niestandardowej domenie lub na darmowej, aby dostęp był nie tylko lokalnie u ciebie.
Jeśli jesteś zainteresowany, pisz na priv, omówimy.
Jestem gotowa wspierać projekt w przyszłości i go ulepszać, za dodatkową opłatą.
-
7 dni1655 PLN
986 12 1 7 dni1655 PLN
Opracowywałem podobny parser dla usług dostawy, a także parser z podobnymi parametrami wyszukiwania dla strony „Tawria W”. Mogę zaproponować rozwiązanie w postaci programu, który będzie uruchamiany według harmonogramu z elastycznymi ustawieniami interwałów i czasu pracy parsera.
-
4 dni2235 PLN
172 1 1 4 dni2235 PLN
Witaj! Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.
-
1 dzień83 PLN
1562 7 0 1 dzień83 PLN
Wchodzę do top-5 deweloperów w kategorii „Sztuczna inteligencja i uczenie maszynowe” wśród ~2100 specjalistów na platformie. Gwarantuję: - Szybkie i jakościowe wykonanie zadania - Ścisłe przestrzeganie terminów - Regularny kontakt przez cały proces Będę zadowolony, aby omówić szczegóły twojego projektu w prywatnych wiadomościach.
-
5 dni2069 PLN
1422 13 0 5 dni2069 PLN
Cześć!
Zadanie zrozumiałem. Mam doświadczenie w tworzeniu dużych systemów parsowania.
Jak moim zdaniem lepiej to teraz zrobić - nie "kosmetycznie łatać", a:
- ujednolicony wynik
- możliwość łatwego dodawania / wyłączania stron
- część stron przenieść na Playwright (gdzie JS / antybot)
- zostawić requests tam, gdzie to możliwe (szybkość)
… Ocena kosztów
- Przepisać wszystko od zera:
Architektura + podstawowy silnik
Przepisać wszystkie strony z dodaniem systemu antybotowego
Podłączenie nowych stron
Logi, stabilność
Koszt: ~25 000 zł
Termin: 4–5 tygodni
- Dodanie lub edytowanie jednej strony
Adaptacja pod nowy układ
Autoryzacja (jeśli jest)
Wbudowanie w istniejący system
1000 zł / strona
Termin: 1–2 dni / strona
Co do stron
Strony z listy dodać - bez problemu
Strony, które przestały działać - trzeba zobaczyć, co dokładnie się zepsuło (JS, captcha, zmiany układu)
Jestem gotów omówić, jak najlepiej w prywatnych wiadomościach
-
1 dzień331 PLN
682 6 0 1 dzień331 PLN
To, co pokazujecie z filtrami i obrazkami na wideo - to już wynik parsowania i wyświetla się z bazy danych. Parsery, sądząc po wszystkim, zostały opracowane i wstawione do harmonogramu, aby można je było uruchamiać niezależnie, ale jestem więcej niż pewien, że bez potrzeby nikt tam nie zagląda, a jeśli coś się zepsuje, to po prostu nie będziecie o tym wiedzieć. Prawdopodobnie wszystko jest napisane w Pythonie + Flask + Bootstrap. Jakiej bazy danych używa się, trudno powiedzieć, trzeba spojrzeć w kod. Zrobione jest prosto, ale prawdopodobnie działało i wam odpowiadało. Gdyby programista poprawiał to, co się psuło, to nikt by tam dalej nie zaglądał. Aby można było oglądać ze świata - można umieścić na zewnętrznym hostingu za 5$ miesięcznie i wszystko będzie działać doskonale, a dostęp będzie możliwy tylko za hasłem. Należy zrozumieć WSZYSTKIE wasze pretensje do tego, co jest, po tym można powiedzieć, co należy zrobić i oszacować czas-budżet. Może wam i tak jest w porządku, po prostu trzeba poprawić, aby zepsute działały :) Porozmawiajmy i się dogadajmy.
-
3 dni497 PLN
1860 21 0 3 dni497 PLN
Witaj. Można również stworzyć możliwość zdalnego otwierania, można wszystko przepisać od zera, można wymyślić bardziej wygodną formę użytkowania, można nawet zrealizować wszystko bez planera. Krótko mówiąc, można wszystko, wszystko zależy od twojego budżetu, który jesteś gotów przeznaczyć na podobne zadanie. W ramach budżetu mogę zaproponować najlepszą realizację dla ciebie.
Jeszcze kilka słów o możliwości zdalnego otwierania strony. Jeśli ten parsing już odbywa się na twoim oddzielnym wynajętym serwerze na hostingu, to nie będzie z tym problemu. A jeśli wszystko dzieje się na twoim komputerze, to na pewno będzie potrzebny wynajęty serwer do tego.
Będę również potrzebował źródeł tych skryptów python, aby ocenić już wykonaną pracę i zakres przyszłych prac związanych z przepisywaniem od zera, jeśli taka decyzja zostanie podjęta.
-
7 dni2069 PLN
1251 35 1 3 7 dni2069 PLN
Cześć, jestem gotów do wykonania. Mam duże doświadczenie. Napisz do mnie na prywatnej wiadomości, omówimy.
-
7 dni166 PLN
8788 60 0 1 7 dni166 PLN
Dzień dobry. Mogę zaproponować opracowanie narzędzia, które nigdy nie zawiedzie.
Zajmuję czołową pozycję w Pythonie.
Z radością zrealizuję ten projekt.
-
5 dni83 PLN
4150 8 0 1 5 dni83 PLN
Dzień dobry.
Nasz zespół ma wieloletnie doświadczenie w tworzeniu systemów ERP, CRM, CMS oraz specjalistycznego oprogramowania dla biznesu. Tworzymy efektywne rozwiązania cyfrowe, które pomagają automatyzować procesy, zwiększać wydajność i skalować firmy.
Pracujemy z nowoczesnymi technologiami — od botów i skryptów po agentów AI i systemy analityczne. Opracowujemy strony internetowe o różnym stopniu skomplikowania. W naszym portfolio znajdują się zrealizowane rozwiązania ERP dla branży hotelarskiej, a także dla firm zajmujących się importem i sprzedażą towarów, a także nasz własny produkt XFitness — system ERP stworzony specjalnie dla klubów fitness.
Specjalizujemy się w takich dziedzinach:
- Opracowanie systemów ERP
- Opracowanie systemów CRM
- Opracowanie stron internetowych o dowolnym stopniu skomplikowania
… - Opracowanie systemów CMS
- Wsparcie stron internetowych
- Opracowanie OpenCart
- Wsparcie OpenCart
- Modyfikacja OpenCart
- Dopracowanie OpenCart
- Opracowanie WordPress
- Wsparcie WordPress
- Modyfikacja WordPress
- Dopracowanie WordPress
- Opracowanie ECommerce
- Wsparcie ECommerce
- Modyfikacja ECommerce
- Dopracowanie ECommerce
- Opracowanie aplikacji internetowych
- Wsparcie serwerów 1C
- Wsparcie serwerów WWW
- Opracowanie aplikacji mobilnych
- Parsowanie danych
- Opracowanie botów
- Opracowanie agentów AI
oraz w takich technologiach:
- Python
- PHP
- Laravel
- Symfony
- Yii2
- JS
- NodeJS
- jQuery
- TypeScript
- MySQL
- HTML
- CSS
- Vue
- Nuxt.js
- React
- React Native
- C++
-
10 dni1324 PLN
2263 25 1 10 dni1324 PLN
Witam, programista python z doświadczeniem ponad 5 lat, zajmuję się parsowaniem od ponad 4. Projekt jest duży, ponieważ trzeba stworzyć moduły dla każdej strony internetowej. Ogólnie twój stos technologiczny jest odpowiedni, ponieważ jest wiele stron i to najszybsza opcja, jednak nie najbezpieczniejsza. Przejrzałem kilka stron internetowych i parsowanie można przeprowadzić bez autoryzacji, a ochrona nie jest zbyt silna, więc można użyć obecnego stosu, jednak trzeba przejrzeć całą listę, ponieważ dla niektórych może być konieczne użycie przeglądarek antydetekcyjnych do emulacji. Podaję terminy, w których jestem pewien, że to wykonam oraz cenę z uwzględnieniem dodatkowego kodu dla stron internetowych z lepszym systemem bezpieczeństwa. Ogólnie realizacja nie stanowi problemu, to tylko kwestia czasu na przetworzenie wszystkich stron internetowych. Jeśli odpowiadają ci warunki, to pisz na prywatne, porozmawiamy i będę zadowolony ze współpracy!
-
10 dni331 PLN
130 10 dni331 PLN
Dzień dobry. Pracowałem z bardzo wieloma parserami, omijając ochronę Cloudflare, używając autoryzacji itd. Mogę zająć się twoim parserem. Mam doświadczenie z bibliotekami, które wymieniłeś, ale myślę, że będę musiał je zastąpić, ponieważ przy najmniejszej ochronie strony - kod się złamie. Napisz na priv, chciałbym zobaczyć już gotowy kod, wtedy będę mógł podać dokładną cenę, ale myślę, że będzie to +/- jak podano.
-
1 dzień58 PLN
1101 7 1 1 dzień58 PLN
Cześć!
Mam doświadczenie w parsowaniu stron internetowych z różnymi mechanizmami autoryzacji, niedawno zrealizowałem system zbierania danych z kilku platform handlowych, używając Pythona, BeautifulSoup i Requests.
Przepiszę twój system parsowania od podstaw, stosując nowoczesne praktyki, takie jak asynchroniczność przez aiohttp, co pozwoli znacznie przyspieszyć proces zbierania danych. Będę wyciągał informacje (zdjęcia, nazwa, cena, dostępność) zgodnie z twoimi wymaganiami.
To rozwiązanie zapewni elastyczność w dalszej modernizacji, a także będzie mogło dostosować się do nowych stron bez zbędnego wysiłku. Porozmawiajmy o szczegółach!
-
5 dni248 PLN
324 5 dni248 PLN
Cześć! Mam doświadczenie w parsowaniu stron internetowych i automatyzacji marketplace'ów, w szczególności z Prom.ua, OLX. Myślę, że przepisywanie systemu od zera nie jest konieczne — bardziej sensowne jest optymalizowanie obecnego kodu na requests/bs4 i integrowanie nowych dostawców w istniejącą architekturę.
Napisz na priv w celu szczegółowej dyskusji na temat technicznych niuansów i terminów realizacji.
-
1 dzień83 PLN
250 37 1 2 1 dzień83 PLN
Dzień dobry,
Chciałbym prosić o przejrzenie plików bieżącej realizacji systemu parsowania i o feedback dotyczący możliwej aktualizacji lub pełnego przepisania rozwiązania.
-
14 dni248 PLN
115 34 4 2 14 dni248 PLN
Dzień dobry.
Zadanie jest jasne.
Parsery będą na VPS, wszystko będzie działać bez Państwa udziału.
Będzie strona, którą można otwierać zdalnie, możemy dodać filtry lub rozszerzone wyszukiwanie, jeśli to potrzebne.
Jeśli chodzi o cenę - trzeba zobaczyć kilka przykładów parserów, które już działają, czy da się je dostosować.
Proszę pisać - wszystko omówimy.
-
6 dni828 PLN
358 1 0 6 dni828 PLN
Dzień dobry!
Mam doświadczenie w tworzeniu systemów parsowania i automatyzacji w Pythonie. Widzę, że obecnie macie podstawowe rozwiązanie, ale dla nowoczesnego poziomu lepiej zbudować system modułowy, w którym każda strona będzie miała swój adapter. To pozwoli łatwo dodawać nowe źródła i utrzymywać stabilność przy zmianach.
-
2 dni124 PLN
588 0 1 2 dni124 PLN
Witam, mogę zebrać dane (~3000 produktów 90 dolarów) z różnych stron. Proszę tylko dokładniej opisać, jakie dane są potrzebne i gdzie je umieścić. Będę wdzięczny za współpracę.
-
5 dni124 PLN
414 1 0 5 dni124 PLN
Cześć, jestem gotowy do zrobienia, musimy omówić szczegóły projektu w wiadomości prywatnej i można zacząć pracę.
-
Здравствуйте.
Нужно все сайты смотреть... -
Можно поинтересоваться, почему отклоняете почти все ставки подряд?
От людей с опытом в разработке парсеров и не только.
-
Даний замовник виставляє не свої проекти а копіює їх з іншого сайту фрілансу на якому від імені фрілансера пише що готовий виконати все якісно. При цьому ставить там високу ціну а тут хоче знайти хто йому виконає дешево
-
Якщо є посилання то надішліть в підтримку
-
Вже це зробив на 3 проекти оригінали яких знайшов на іншому сайті
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 3 dni 8 godzin temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 3 dni 12 godzin temu ∙ 17 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 3 dni 18 godzin temu ∙ 27 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni 19 godzin temu ∙ 41 ofert |
Svitlahata
62 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 4 dni 22 godziny temu ∙ 34 oferty |