Fix 403 [Parsowanie OLX]
Dzień dobry szanowne panstwo.
Mam parser do olx napisany w Pythonie.
Używam aiohttp oraz aiohttp_socks
Istota parsera jest prosta:
- Przechodzimy na stronę wyszukiwania olx (*link*).
- Filtrujemy według aktualności czasu.
- Filtrujemy według liczby wyświetleń (zapytanie na link zwraca liczbę wyświetleń konkretnego ogłoszenia).
- Jeśli wszystko jest w porządku, przechodzimy na stronę konkretnego ogłoszenia i pobieramy potrzebne informacje.
- Po uzyskaniu wysyłamy do telegrama.
Używałem bez proxy przez około 2 miesiące, wszystko działało poprawnie. Potem dostałem bana (403 Request Blocked), zacząłem używać proxy (automatyczna rotacja z 10 adresów IP z pliku proxie.json) oraz połączenia przez ProxyConnector. Wszystko działało dokładnie 2 tygodnie, teraz jest już konkretny ban.
Obecnie problem polega na tym, że nawet na pierwszym etapie otrzymuję blokadę (
Proxy już zmieniałem na nowe, user-agent(-y) zmieniałem, i nic.
Myślałem, że jest blokada po guid, też go podmieniłem - i też bez efektu.
Dostęp do serwera nie będzie, pliku parsera również nie udostępnię.
Rozwiązanie: dostarczysz mi gotowy plik .py, który uruchomię na swoim serwerze i sprawdzę połączenie z *link*.
Jeśli wszystko jest w porządku, zamykamy projekt.
P.S. zapytań jest bardzo dużo, proszę o uwzględnienie tego. Nie używam i nie będę używał Selenium
-
78 To zadanie dotyczące konfiguracji obejścia antybanu: proxy, nagłówki, możliwe zabezpieczenia antybotowe. W razie potrzeby można użyć przeglądarki headless (np. undetected_chromedriver), ale na razie nie jest to konieczne.
2. Co będzie w rozwiązaniu:
– Jeden plik .py, który:
ładuje stronę OLX przez wskazane proxy
wstawia działające User-Agent, ciasteczka (jeśli konieczne)
… rejestruje status (np. pomyślne obejście lub 403)
3. Nie jest potrzebny dostęp do serwera — wszystko realizujemy lokalnie.
później można zintegrować to obejście z Twoim głównym parserem
-
3853 24 0 Dzień dobry! Zainteresował mnie projekt z parserem dla OLX. Mam doświadczenie w zakresie parsowania danych i automatyzacji z wykorzystaniem różnych bibliotek. Potrafię dostosować Twój obecny skrypt Python do obejścia blokad, wprowadzić niezbędne korekty dla efektywnej pracy bez użycia Selenium. Mam pomysły na optymalizację zapytań i zmianę parametrów dostępu, aby zminimalizować ryzyko zbanowania.
Mój stawka to 16$ za godzinę. Zaproponuję rozwiązanie, które będzie można uruchomić na Twoim serwerze w celu przetestowania skuteczności nowego podejścia.
-
236 1 0 Dzień dobry
Mogę zaproponować techniczne rozwiązanie składające się z 2 elementów:
* serwis proxy pod Linuxa (wyjaśnię szczegółowo)
* konfiguracja scrapera (logika działania nie jest potrzebna oprócz kilku momentów, które proponuję sprawdzić)
-
212 Dzień dobry!
Twój case jest dobrze zrozumiały — blokowanie OLX nawet z proxy ostatnio znacznie się nasiliło, szczególnie przy intensywnym parsowaniu.
🔧 Mogę opracować plik .py, który:
działa przez aiohttp + aiohttp_socks
automatycznie rotuje proxy z twojego pliku proxie.json
… zmienia User-Agent, nagłówki i inne ślady (w tym cookie, headers, referer)
maksymalnie imituje zapytania zwykłej przeglądarki (analog fingerprintu przeglądarki)
sprawdza dostęp do potrzebnego linku
❗ Wezmę pod uwagę, że Selenium nie jest używane, a zapytań jest dużo. Ustawiam adaptacyjną przerwę + pseudolosowe zachowanie, aby zmniejszyć ryzyko blokad.
💬 Jeśli masz log przykładowej odpowiedzi od OLX (403/429 lub innej), będzie to pomocne dla dokładniejszego dostosowania.
Gotowy dostarczyć plik .py do testów — tylko po upewnieniu się, że działa poprawnie. Jeśli działa — zamykamy projekt.
Pisz na PW — omówimy szczegóły i dobierzemy optymalne rozwiązanie dla twojego parsera.
-
3392 84 0 Gdzie jest to techniczne zadanie? To jest rozwój od zera, jeśli brać pod uwagę, że powiedzieliście, że nie dostarczycie kodu.
-
336 Cześć! Jesteśmy firmą SolidWay i jesteśmy gotowi pomóc Ci z Twoim projektem parsowania OLX. Mamy doświadczenie w pracy z Pythonem, w tym z bibliotekami, które wymieniłeś, więc możemy znaleźć rozwiązanie obejścia blokad, z którymi się spotykasz.
Rozumiemy, że problem z blokadami może wymagać kreatywnych podejść do pracy z proxy i user-agentami, dlatego jesteśmy gotowi wypróbować różne metody, aby zapewnić niezbędną funkcjonalność parsera. Nasz zespół już realizował podobne projekty, więc wiemy, co robić.
Szczegóły dotyczące terminów i budżetu omówimy po doprecyzowaniu wszystkich szczegółów Twojego zapytania. Więc porozmawiajmy, jak możemy pomóc w rozwiązaniu Twojego zadania!
-
Доброго дня.
Покажіть скрін того, як ви реалізуєте коннект. -
За вашими посиланнями
"Сторінку не знайдено"
-
usunięte przez moderatora
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie danych przez mobilne APISzukałem osoby z doświadczeniem w parsowaniu danych przez mobilne API, do parsowania e-commerce, rozetka i podobne Zadania: 1. Przechwytywanie ruchu aplikacji mobilnej (Android) konfiguracja proxy, analiza zapytań 2. Określenie potrzebnych punktów końcowych API, do których… Python, Parsowanie danych ∙ 2 godziny 30 minut temu ∙ 13 ofert |
Szukam programisty lub kodera do automatyzacji scrapingu danych 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing przypadkowo wysłałem ten link Programowanie stron internetowych, Parsowanie danych ∙ 4 godziny 51 minut temu ∙ 23 oferty |
Parsowanie strony YouControl (Jukontrol)
98 PLN
Trzeba wyciągnąć firmy z niektórych kategorii na stronie юконтрол, w tym 1) nazwa 2) ЄДРПОУ 3) kierownik 4) telefon Wszystkie te dane są publiczne. Parsowanie danych ∙ 20 godzin 31 minut temu ∙ 31 ofert |
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 4 dni 23 godziny temu ∙ 19 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 5 dni 3 godziny temu ∙ 36 ofert |


