Rozwinięcie analizatora ogłoszeń z witryny minda.city lub baraholka.ge/ru
327 PLN
Specyfikacja techniczna (ST) dla opracowania parsera ogłoszeń z serwisu minda.city lub baraholka.ge/ru (duplikaty)
Cel:
Stworzenie parsera ogłoszeń z serwisu https://minda.city/, który będzie zbierał określone dane i przekazywał je za pośrednictwem API.
Wymagania:
Strona do parsowania:
- URL: https://minda.city/
Zbierane dane:
- Miasto
- Region
- Kategoria
- Podkategoria
- Numer telefonu (lub kilka numerów, jeśli podane)
- Imię
- Data dodania ogłoszenia
Format przekazywania danych:
- Wszystkie zebrane dane powinny być przekazywane za pośrednictwem API.
- Format danych: JSON.
- Przykładowa struktura JSON:
jsonKopiuj kod{
"city": "Tbilisi",
"region": "Kartli",
"category": "Nieruchomości",
"subcategory": "Wynajem mieszkań",
"phone_numbers": ["+995123456789", "+995987654321"]
}
API do przekazywania danych:
- Podaj URL API do przekazywania danych (zostanie podany później).
- Metoda przekazywania danych: POST.
Algorytm działania parsera:
- Parser powinien zbierać wszystkie ogłoszenia ze strony, dzieląc je na mniejsze kategorie w przypadku ograniczenia ilości stron (np. jeśli maksymalnie wyświetla się 100 stron po 15 ogłoszeń na każdej, należy dzielić na podkategorie).
- Po pełnym zebraniu danych, parser powinien być uruchamiany raz na dobę w celu zebrania nowych ogłoszeń.
Wymagania techniczne:
- Obsługa wielowątkowości w celu przyspieszenia procesu parsowania.
- Możliwość pracy przez proxy w celu ominięcia blokad (ogłoszeń jest niewiele, możliwe, że nie będzie to konieczne).
- Obsługa błędów i logowanie (mechanizmy do ponownej próby w przypadku nieudanej transmisji danych lub niedostępności strony).
Częstotliwość aktualizacji danych:
- Parser powinien być uruchamiany co 24 godziny w celu zebrania nowych danych.
- Możliwość ręcznego uruchomienia w celu pilnej aktualizacji danych.
Dodatkowe wymagania:
- Powinna istnieć możliwość rozszerzenia funkcjonalności parsera w przyszłości (dodawanie nowych pól, zmiana logiki zbierania danych).
- Dokumentacja dotycząca instalacji i uruchomienia parsera.
- Komentarze w kodzie dla lepszego zrozumienia logiki działania.
Etapy opracowania:
- Opracowanie i testowanie parsera.
- Integracja z API do przekazywania danych.
- Testowanie pełnego cyklu działania parsera.
- Przekazanie dokumentacji i kodu źródłowego.
Terminy realizacji:
- Opracowanie i testowanie parsera: [10 dni]
- Integracja z API i testowanie: [10 dni]
Parser powinien działać na serwerze z systemem operacyjnym Linux
Парсер должен работать на сервере под управлением операционной системы Linux
-
7 dni327 PLN
645 11 0 7 dni327 PLN
Witam, jestem gotowy do wykonania Twojego projektu, napiszmy, aby omówić szczegóły
-
20 dni654 PLN
888 18 2 1 20 dni654 PLN
Witam!
Zainteresowałem się Państwa projektem, mam ogromne doświadczenie w parsowaniu i przetwarzaniu dużych ilości danych. Po zakończeniu pracy nad projektem udostępniam własny hosting do wdrożenia projektu oraz pulę proxy do obejścia blokad częstych żądań do serwera-donora.
Proszę o kontakt w celu omówienia szczegółów i terminów realizacji tego projektu!
-
1 dzień327 PLN
1751 28 2 2 1 dzień327 PLN
Dzień dobry.
Mam duże doświadczenie w tworzeniu botów.
Cena i termin zależą od szczegółów projektu.
Będę zadowolony z współpracy.
Miłego dnia.
-
1 dzień1634 PLN
8193 63 1 1 dzień1634 PLN
Dzień dobry!
Jestem gotowy pomóc Ci w opracowaniu parsera ogłoszeń z witryny minda.city i przekazaniu danych za pomocą interfejsu API. Czekam na możliwość omówienia wszystkich szczegółów i rozpoczęcia pracy nad projektem!
-
20 dni817 PLN
2199 16 0 20 dni817 PLN
Witam. Interesujące zadanie, będę zadowolony z współpracy. Korzystam z wiodących nowoczesnych technologii odpornych na awarie. Wcześniej tworzyłem parsery i własne API. Wprowadzę wielowątkowość, dodam proxy, logowanie i całą inną potrzebną funkcjonalność. Pomogę w hostowaniu na serwerze. Kod będzie napisany czysto (każdy programista będzie w stanie go zrozumieć) z uwzględnieniem wymagań dotyczących bezpieczeństwa, projekt będzie łatwo skalowalny. Proszę pisać prywatnie w celu omówienia szczegółów.
-
3 dni335 PLN
726 9 1 3 dni335 PLN
Witam! Przeglądnąłem Twój projekt i jestem gotowy rozpocząć pracę natychmiast. Zapewniam doskonałą jakość i szybkość działania.
-
10 dni817 PLN
1982 47 7 2 10 dni817 PLN
Witaj!
Mam znaczne doświadczenie w tworzeniu parserów i automatyzacji procesów. Jestem gotowy stworzyć parser ogłoszeń ze strony minda.city, który będzie zbierał i przekazywał dane poprzez API zgodnie z Twoją specyfikacją techniczną.
Moje umiejętności obejmują:
• Parsowanie danych przy użyciu bibliotek takich jak BeautifulSoup i Requests, dla efektywnego zbierania danych.
• Implementację wielowątkowości w celu przyspieszenia procesu parsowania.
• Konfigurację pracy poprzez proxy w celu ominięcia blokad.
… • Obsługę błędów i logowanie w celu zapewnienia niezawodności i stabilności parsera.
• Formatowanie danych do JSON i ich przekazywanie za pomocą metody POST przez API.
Jestem otwarty na dyskusję szczegółów projektu, terminów i kosztów w wiadomościach prywatnych.
Z poważaniem, Paweł
-
10 dni327 PLN
85 10 dni327 PLN
Pracuję z parserami w C# .NET, piszę na Windows, jeśli tego potrzebujesz, skontaktujmy się i zacznijmy działać.
-
10 dni817 PLN
683 3 0 10 dni817 PLN
Gotowy do pracy, mam już gotowe parsery filmów https://github.com/merelyigor/HDrezka-Parser ze stron z filmami, gdzie parsowane są wszystkie filmy i strumienie wideo, opisy i cała informacja, opracowałem również parser firm europejskich, gdzie również miliony danych o różnych firmach biznesowych, adresy, numery telefonów itp., opracowuję parsery w php + bash dla łatwości i prostoty użycia na serwerach bez wirtualizacji przeglądarek selenium itp., oraz integrowałem z bazą danych i stroną na wordpressie, gdzie dane były przechowywane w postach podczas parsowania, szczegóły można omówić.
Gotowy do omówienia budżetów, ale z zmianą terminów, zauważyłem również, że macie kilka zadań dotyczących parserów, mógłbym zrobić wszystkie od razu w jednym konfigurowalnym parserze
Moje CV https://djinni.co/q/351767df01/
LinkedIn https://www.linkedin.com/in/merely-igor/
-
10 dni654 PLN
237 2 1 10 dni654 PLN
Witaj!
Jestem gotowy podjąć się Twojego projektu, będę używał Pythona 3.12.
Co do codziennego parsowania (raz na 24 godziny), proponuję skorzystać z serwera i uruchomić osobny skrypt w cronie.
Jeśli chodzi o stronę internetową, zacznę od analizy za pomocą BurpSuite, a następnie wybiorę najbardziej odpowiedni sposób implementacji i przystąpię do programowania.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 1 dzień 19 godzin temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 2 dni temu ∙ 16 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 2 dni 6 godzin temu ∙ 27 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 7 godzin temu ∙ 41 ofert |
Svitlahata
61 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 3 dni 10 godzin temu ∙ 34 oferty |
Zaporoże