Usługa skrobania oparta na API, zoptymalizowana
Witaj,
Poszukuję **usprawnionej, opartej na API usługi skrobania** dla sahibinden.com—specjalnie dostosowanej do filtrowanego URL, który dostarczę. Usługa ta musi być wydajna, odporna na zabezpieczenia Cloudflare i zwracać czyste odpowiedzi JSON.
**Zakres pracy:**
- Użyj dostarczonego filtrowanego URL (np. nieruchomości lub pojazdy) jako punktu wejścia.
- Zeskrob oba:
• **Strona z ogłoszeniem**: tytuł, URL, podsumowanie.
• **Strona szczegółowa**: informacje o użytkowniku, cena, data ogłoszenia, URL obrazów i tag kategorii (jak "nieruchomość", "pojazd" lub "inne").
- Zwróć dobrze zorganizowane **wyjście JSON**.
**Kluczowe wymagania techniczne:**
- Udostępnione jako **usługa API HTTP**—klient wysyła żądanie HTTP z URL i otrzymuje JSON.
- Musi być odporna na środki antybotowe Cloudflare, szczególnie obsługując błędy 429 Zbyt Wiele Żądań w sposób elegancki.
- **Opcjonalne wsparcie proxy** (usługa może, ale nie musi, korzystać z proxy w zależności od konfiguracji).
- Musi zawierać strategię awaryjną lub łagodzenia captcha (np. API rozwiązujące CAPTCHA lub łagodna obsługa błędów).
- Solidne zarządzanie sesjami (ciasteczka, nagłówki itp.), ograniczanie liczby żądań, wykładnicze opóźnienie, logika ponawiania i logowanie.
**Wyniki:**
1. **MVP Dowód Koncepcji**: Działający przykład dla dostarczonego URL (kod + krótki film demonstracyjny).
2. **Usługa gotowa do produkcji**: Aplikacja w kontenerze Docker, README opisujące użycie API, format żądania/odpowiedzi, parametry i przykłady.
3. **Utrzymanie**: Gwarancja drobnych aktualizacji (np. zmiany struktury HTML) w ciągu pierwszych 30 dni po dostarczeniu.
**Harmonogram:** Proszę zaproponować swój harmonogram (np. 1 tydzień na MVP, dodatkowy tydzień na finalizację).
**Pożądane umiejętności i doświadczenie:**
- Skrobanie stron internetowych i automatyzacja przy użyciu **Playwright** lub **Puppeteer**.
- Praktyczne doświadczenie z **obejściem Cloudflare i strategiami antybotowymi**.
- Konfiguracja proxy i logika awaryjna.
- Opcjonalnie: metody rozwiązywania CAPTCHA.
- Rozwój usług API, z jasną dokumentacją.
**Aby aplikować:**
- Podziel się wcześniejszymi przykładami PoC lub projektów (najlepiej z wyjściami JSON).
- Podaj krótkie wyjaśnienie techniczne swojego podejścia.
- Dołącz przykład użycia API i zwróconą strukturę JSON.
Nie mogę się doczekać współpracy z przemyślanym, zwracającym uwagę na szczegóły deweloperem!
-
2 dni909 PLN
267 2 dni909 PLNCześć! Zbuduję zoptymalizowaną usługę skrobania HTTP dla sahibinden.com dostosowaną do Twojego filtrowanego URL. Będzie odporna na Cloudflare i zwróci czysty JSON.
-
1 dzień3634 PLN
93908 1263 1 10 1 dzień3634 PLNCześć.Mam doświadczenie z Puppeteer.Jestem gotowy do współpracy
-
14 dni1817 PLN
3336 70 1 14 dni1817 PLNCześć,
Jestem gotowy, aby omówić Twój projekt. Mam duże doświadczenie w pracy z Puppeteer, a także doświadczenie w tworzeniu interfejsów API do zarządzania aplikacjami, planowania zadań i pobierania wyników wykonania.
Szacowany czas realizacji: 1 tydzień na prototyp i dodatkowy tydzień na finalizację.
-
14 dni1272 PLN
5195 210 0 14 dni1272 PLNCześć,
Jestem gotowy, aby omówić Twój projekt. Mam duże doświadczenie w pracy z Puppeteer, a także doświadczenie w tworzeniu interfejsów API do zarządzania aplikacjami, planowania zadań i pobierania wyników wykonania.
Szacowany czas realizacji: 1 tydzień na prototyp i dodatkowy tydzień na finalizację.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 5 godzin 36 sekund temu ∙ 27 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
492 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 21 godzin 26 minut temu ∙ 46 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 27 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 17 godzin temu ∙ 42 oferty |
Zbieranie (parsowanie) bazy towarów z witryn dostawców (Excel / CSV)
820 PLN
Zbieranie bazy produktów z witryn dostawców (Excel / CSV)Dzień dobry.Potrzebny jest specjalista do zbierania i strukturyzowania danych z kilku witryn dostawców, do których dostęp zostanie zapewniony.Zadanie:Należy stworzyć jednolitą bazę produktów w formacie Excel (XLSX) lub… Programowanie stron internetowych, Parsowanie danych ∙ 4 dni 1 godzina temu ∙ 103 oferty |