Opracowanie skryptu-parsującego dla strony
Krótko mówiąc:
Mamy gotową bazę danych mysql.
Należy napisać parser, który raz dziennie (w nocy) będzie łączył się z witryną źródłową pod konkretnym adresem URL, pobierał stamtąd dane i zapisywał je w mysql.
Nieco dokładniej:
Mamy bazę danych i prymitywny interfejs webowy do niej.
W tym interfejsie najpierw tworzy się zadanie. Zadanie składa się tylko z tytułu i docelowego adresu URL.
Przykład docelowego adresu URL: https://suchen.mobile.de/fahrzeuge/search.html?cn=DE&dt=ALL_WHEEL&fr=2019%3A&isSearchRequest=true&ms=7700%3B8%3B%3B&od=up&ref=srp&refId=e280ae1d-f6ad-85ad-050d-5743bdf92864&s=Car&sb=p&vc=Car
A wewnątrz zadania znajdują się już encje ogłoszeń.
Zadaniem parsera jest codzienne skanowanie docelowej strony i dodawanie do bazy danych informacji o wszystkich samochodach na tej stronie.
Parser powinien pobrać informacje o samochodach:
- id
- nazwa (ciąg znaków)
- adres URL zdjęcia
- cena
Jeśli tego samochodu wcześniej nie było w naszej bazie danych, to zostaje dodany.
Jeśli był, to cena jest aktualizowana. Cena jest przechowywana w powiązanej tabeli, ponieważ musimy przechowywać nie cenę w danym momencie, ale dynamikę cen.
Celem projektu jest utworzenie tabeli, w której w wierszach znajdują się samochody, w kolumnach daty, a na przecięciu cena lub myślnik.
Przykładowa wizualizacja tego, co powinniśmy uzyskać w naszym interfejsie na wyjściu, znajduje się w załączniku.
Obecnie poszukujemy osoby, która napisze parser, który będzie uzupełniał bazę danych tymi danymi. Wyświetlenie w interfejsie webowym zrobimy samodzielnie. Proszę o pozostawienie odpowiedzi z podaniem kosztów i terminu. Proszę również o wskazanie, jakie technologie zamierzacie wykorzystać do realizacji zadania.
Praca przez escrow, terminy nie są ograniczone. Priorytetem w wyborze kandydatów jest koszt i doświadczenie.
Załączniki 1
-
2 dni248 PLN
1444 9 0 2 dni248 PLN
💬 Dzień dobry! Jestem gotów wykonać zadanie dotyczące opracowania parsera, który codziennie zbiera dane z witryn-dawców i aktualizuje informacje w bazie danych MySQL.
✅ Stos technologiczny:
Python (Requests, Aiohttp, BeautifulSoup) — szybkie i efektywne parsowanie bez Selenium, co zapewnia wysoką prędkość działania.
Asyncio i wielowątkowość — do jednoczesnego przetwarzania kilku URL, co znacznie przyspiesza zbieranie danych (opcjonalnie).
MySQL (pymysql / SQLAlchemy) — do przechowywania danych i prowadzenia historii zmian cen.
… Logowanie i obsługa błędów — skrypt będzie odporny na awarie i automatycznie wznawiać przerwane zapytania.
📌 Wyjaśnienia:
Czy parser ma przechodzić przez wszystkie strony z filtra (paginacja)?
Czy planowana jest praca tylko z jedną witryną-dawcą, czy będą dodawane inne zasoby?
🎯 Moje doświadczenie:
Ponad 2 lata doświadczenia w tworzeniu wysokowydajnych parserów, które stabilnie działają nawet z dynamicznymi witrynami.
Opracowanie API i integracji z MySQL, w tym śledzenie zmian danych i zbieranie historii.
Ciągłe wsparcie i ulepszanie opracowanych rozwiązań.
💪 Gwarantuję:
Wysoką jakość wykonania zadania.
Wsparcie i poprawki na życzenie.
Dostępną cenę i szybkie wykonanie.
Chętnie omówię szczegóły w wiadomościach prywatnych i zaproponuję optymalne rozwiązanie dla Twojego projektu. Czekam na Twoją odpowiedź!
-
1 dzień58 PLN
411 6 1 1 dzień58 PLN
Cześć!
Jestem gotów opracować skrypt-parsujący dla
twojej strony.
Opowiedz więcej o:
* celu parsowania (jakie informacje należy wyodrębnić)
… * strukturze strony (matryca HTML, API)
* objętości danych
* formacie wyjściowym uzyskanych informacji
Wtedy będę mógł określić terminy i koszt.
-
4 dni248 PLN
655 6 1 4 dni248 PLN
Cześć. Jestem gotów stworzyć aplikację do zbierania danych z określonej strony internetowej na podstawie listy linków i eksportowania wyników do bazy danych mysql.
-
7 dni662 PLN
95670 1272 1 10 7 dni662 PLN
Cześć. Mam duże doświadczenie z Node.js/Python. Jestem gotowy do współpracy.
-
3 dni166 PLN
1673 100 5 3 3 dni166 PLN
Dzień dobry. Zrobię taki parser. Proszę pisać, będę zadowolony ze współpracy z Państwem!
-
10 dni993 PLN
1315 7 0 10 dni993 PLN
Dzień dobry.
Jestem gotów podjąć się Twojego projektu.
Mogę opracować dla Ciebie parser do dodawania ogłoszeń z samochodów za pomocą narzędzi no-code/low-code i/lub za pomocą Node.js (jeśli zajdzie taka potrzeba).
Pisz na prywatne, omówimy wszystkie szczegóły i niuanse, i znajdziemy dla Ciebie najlepsze rozwiązanie.
-
3 dni166 PLN
726 9 1 3 dni166 PLN
Dzień dobry! Dokładnie zapoznałem się z twoim projektem i jestem gotów przystąpić do jego realizacji. Porozmawiajmy o szczegółach, aby jak najlepiej go wykonać.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Wymagany specjalista ds. promocji w Telegramie.
106 PLN
Zadania: zapraszanie rzeczywistych użytkowników z bazy nazw użytkowników do nowych czatów oraz wysyłanie wiadomości do docelowej bazy. Interesuje nas tylko jakościowy ruch i praca z żywą publicznością — wykonawców korzystających z botów, sztucznego zwiększania lub niskiej… Parsowanie danych, Promocja w sieciach społecznościowych (SMM) ∙ 2 dni 11 godzin temu ∙ 8 ofert |
Zbieranie bazy danych B2B firm w Niemczech
149 PLN
Cel: Uzyskanie listy potencjalnych pracodawców (klientów) do wysyłki B2B. Region: Monachium (München) + promień 50 km. Wymagane nisze: Firmy budowlane (Bauunternehmen) Przemysł spożywczy (Lebensmittelhersteller, zakłady mięsne, piekarnie) Logistyka i kompleksy magazynowe… Parsowanie danych, Sprzedaż i generowanie leadów ∙ 2 dni 13 godzin temu ∙ 32 oferty |
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 6 dni 6 godzin temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 6 dni 11 godzin temu ∙ 19 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 6 dni 16 godzin temu ∙ 28 ofert |
Odessa