Parser dla https://www.sahibinden.com
Zrealizowałem parser ogłoszeń dla strony https://www.sahibinden.com
Link do wideo z działania bota: https://photos.app.goo.gl/yUsjtdKWBC3QHtdQ6
Bot w pełni imituje użytkownika: zrealizowano okresową zmianę user-agent, a także okresową zmianę konta za pomocą zapisanego profilu. Na stronie często wymagane jest potwierdzenie dwuetapowej weryfikacji, obejście którego zrealizowano poprzez otrzymanie wiadomości z Gmaila za pomocą API Google.
Zrealizowano obejście ochrony antybota o nazwie PerimeterX.
PerimeterX to system ochrony stron internetowych przed botami i podejrzaną aktywnością, który analizuje zachowanie użytkownika w czasie rzeczywistym i określa, czy to człowiek, czy automatyczny skrypt. Zbiera wiele sygnałów: adres IP, odcisk przeglądarki (user-agent, wtyczki, ustawienia), obecność i działanie JavaScript, a także czynniki behawioralne — ruchy myszy, kliknięcia, prędkość nawigacji po stronach. Na podstawie tych danych algorytmy tworzą "profil" zapytania i porównują go z typowym zachowaniem człowieka; jeśli aktywność wydaje się podejrzana (na przykład zbyt szybkie działania, użycie proxy lub przeglądarek headless), system może ograniczyć dostęp, pokazać captcha lub całkowicie zablokować użytkownika.
Link do wideo z działania bota: https://photos.app.goo.gl/yUsjtdKWBC3QHtdQ6
Bot w pełni imituje użytkownika: zrealizowano okresową zmianę user-agent, a także okresową zmianę konta za pomocą zapisanego profilu. Na stronie często wymagane jest potwierdzenie dwuetapowej weryfikacji, obejście którego zrealizowano poprzez otrzymanie wiadomości z Gmaila za pomocą API Google.
Zrealizowano obejście ochrony antybota o nazwie PerimeterX.
PerimeterX to system ochrony stron internetowych przed botami i podejrzaną aktywnością, który analizuje zachowanie użytkownika w czasie rzeczywistym i określa, czy to człowiek, czy automatyczny skrypt. Zbiera wiele sygnałów: adres IP, odcisk przeglądarki (user-agent, wtyczki, ustawienia), obecność i działanie JavaScript, a także czynniki behawioralne — ruchy myszy, kliknięcia, prędkość nawigacji po stronach. Na podstawie tych danych algorytmy tworzą "profil" zapytania i porównują go z typowym zachowaniem człowieka; jeśli aktywność wydaje się podejrzana (na przykład zbyt szybkie działania, użycie proxy lub przeglądarek headless), system może ograniczyć dostęp, pokazać captcha lub całkowicie zablokować użytkownika.
Dniepr 
Gotowy do podjęcia pracy