Rozwinięcie analizatora ogłoszeń z witryny https://gancxadebebi.ge/ru/
Specyfikacja techniczna (ST) dla opracowania parsera ogłoszeń ze strony https://gancxadebebi.ge/ru/
Cel:
Stworzenie parsera ogłoszeń ze strony https://gancxadebebi.ge/ru/, który będzie zbierał określone dane i przekazywał je za pomocą interfejsu API.
Wymagania:
Strona do parsowania:
Zbierane dane:
- Miasto
- Region
- Kategoria
- Podkategoria
- Numer telefonu (lub kilka numerów, jeśli podane)
- Data dodania ogłoszenia
Format przekazywania danych:
- Wszystkie zebrane dane powinny być przekazywane za pomocą interfejsu API.
- Format danych: JSON.
- Przykładowa struktura JSON:
jsonKopiuj kod{
"city": "Tbilisi",
"region": "Kartli",
"category": "Nieruchomości",
"subcategory": "Wynajem mieszkań",
"phone_numbers": ["+995123456789", "+995987654321"]
}
API do przekazywania danych:
- Podaj URL interfejsu API do przekazywania danych (zostanie podany później).
- Metoda przekazywania danych: POST.
Algorytm działania parsera:
- Parser powinien zbierać wszystkie ogłoszenia ze strony, dzieląc je na mniejsze kategorie w przypadku ograniczenia ilości stron (np. jeśli maksymalnie wyświetla się 100 stron po 15 ogłoszeń na każdej, należy dzielić na podkategorie).
- Po pełnym zebraniu danych, parser powinien być uruchamiany raz na dobę w celu zebrania nowych ogłoszeń.
Wymagania techniczne:
- Obsługa wielowątkowości w celu przyspieszenia procesu parsowania.
- Możliwość pracy przez proxy w celu ominięcia blokad (ogłoszeń jest niewiele, możliwe, że nie będzie to konieczne)
- Obsługa błędów i logowanie (mechanizmy do ponownej próby w przypadku nieudanej transmisji danych lub niedostępności strony).
Częstotliwość aktualizacji danych:
- Parser powinien być uruchamiany co 24 godziny w celu zebrania nowych danych.
- Możliwość ręcznego uruchomienia w przypadku pilnej aktualizacji danych.
Dodatkowe wymagania:
- Powinna istnieć możliwość rozbudowy funkcjonalności parsera w przyszłości (dodawanie nowych pól, zmiana logiki zbierania danych).
- Dokumentacja dotycząca instalacji i uruchomienia parsera.
- Komentarze w kodzie dla lepszego zrozumienia logiki działania.
- Parser powinien działać na serwerze z systemem operacyjnym Linux.
Etapy opracowania:
- Opracowanie i testowanie parsera.
- Integracja z API do przekazywania danych.
- Testowanie pełnego cyklu pracy parsera.
- Przekazanie dokumentacji i kodu źródłowego.
Terminy realizacji:
- Opracowanie i testowanie parsera: [10 dni]
- Integracja z API i testowanie: [10 dni]
-
1783 28 2 2 Dzień dobry.
Mam duże doświadczenie w tworzeniu botów.
Cena i termin zależą od szczegółów projektu.
Będę zadowolony z współpracy.
Miłego dnia.
-
8193 63 1 Dzień dobry!
Jestem gotowy pomóc Ci w realizacji parsera do zbierania danych ze strony https://gancxadebebi.ge/ru/ i przekazywania ich za pomocą API. Nie mogę się doczekać, aby omówić wszystkie szczegóły i rozpocząć pracę!
-
3356 70 1 Witaj.
Tworzę parsery od podstaw.
Podczas tworzenia oprogramowania używam JavaScript.
Zapoznałem się z projektem, stroną, jestem gotowy do bardziej szczegółowej dyskusji w wiadomościach prywatnych.
-
1963 47 7 2 Witaj!
Mam znaczne doświadczenie w tworzeniu parserów i automatyzacji procesów. Jestem gotowy stworzyć parser ogłoszeń ze strony minda.city, który będzie zbierał i przekazywał dane poprzez API zgodnie z Twoją specyfikacją techniczną.
Moje umiejętności obejmują:
• Parsowanie danych przy użyciu bibliotek takich jak BeautifulSoup i Requests, dla efektywnego zbierania danych.
• Implementację wielowątkowości w celu przyspieszenia procesu parsowania.
• Konfigurację pracy poprzez proxy w celu ominięcia blokad.
… • Obsługę błędów i logowanie w celu zapewnienia niezawodności i stabilności parsera.
• Formatowanie danych do JSON i ich przekazywanie za pomocą metody POST przez API.
Jestem otwarty na dyskusję na temat szczegółów projektu, terminów i kosztów w wiadomościach prywatnych.
Z poważaniem, Paweł
-
85 Pracuję z parserami w C# .NET, piszę na Windows, jeśli tego potrzebujesz, skontaktujmy się i zacznijmy działać.
-
726 9 1 Dzień dobry! Twój projekt wygląda bardzo obiecująco. Jestem gotowy rozpocząć pracę i wykonać ją na najwyższym poziomie.
-
683 3 0 Gotowy do pracy, mam już gotowe parsery filmów https://github.com/merelyigor/HDrezka-Parser ze stron z filmami, gdzie parsowane są wszystkie filmy i strumienie wideo, opisy i cała informacja, opracowałem również parser firm europejskich, gdzie również miliony danych o różnych firmach biznesowych, adresy, numery telefonów itp., opracowuję parsery w php + bash dla łatwości i prostoty użycia na serwerach bez wirtualizacji przeglądarek selenium itp., oraz integrowałem z bazą danych i stroną na wordpressie, gdzie dane były przechowywane w postach podczas parsowania, szczegóły można omówić.
Gotowy do omówienia budżetów, ale z zmianą terminów, zauważyłem również, że macie kilka zadań dotyczących parserów, mógłbym zrobić wszystkie od razu w jednym konfigurowalnym parserze
Moje CV https://djinni.co/q/351767df01/
LinkedIn https://www.linkedin.com/in/merely-igor/
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 16 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 1 dzień 5 godzin temu ∙ 34 oferty |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 8 godzin temu ∙ 39 ofert |
Znaleźć feed produktowy (Google Merchant XML) dla strony na OpenCart
57 PLN
Konieczne jest znalezienie bezpośredniego linku do działającego pliku z danymi produktowymi (XML) konkurenta dla Google Merchant Center Platforma (CMS): OpenCart / ocStore Znajdź oryginalny plik z danymiWymagania dotyczące wyniku: Roboczy link do pliku XML Python, Parsowanie danych ∙ 1 dzień 13 godzin temu ∙ 21 ofert |
Parsowanie produktów z supermarketówPotrzebny specjalista (parsowanie + Google Sheets + automatyzacja). Cel: Stworzyć system automatycznego pozyskiwania i aktualizacji cen produktów spożywczych z supermarketów Silpo i NOVUS z wyjściem danych do Google Sheets. Co należy zrealizować: Stworzyć główną tabelę Google… Parsowanie danych, Wyszukiwanie i zbieranie informacji ∙ 1 dzień 21 godzin temu ∙ 46 ofert |