Python + Selenium. Antycaptcha. Parsowanie wyszukiwania Google.
Witaj. Szczegółowo podam log z problemem, więc kto napisze w stawce. Zadanie dla kogoś, kto miał doświadczenie z botami/parserami, które działały na Selenium i robiły zapytanie w wyszukiwarce Google i korzystały z usługi antycaptcha. Mam parsera na Phyton, zapytania robi przez aiohttp. Ma lokalny host. Wysyła zapytanie w wyszukiwarce Google. Używa do tego Selenium.
Przykład problemu. Parser otworzył Selenium, wysłał zapytanie wyszukiwania w Google. Pojawiła się captcha. Usługa antycaptcha rozwiązała captchę. Bot szuka dalej. Problem w tym, że Selenium czasami przekazuje klucz rozwiązanej captchy. Ale potem bywa tak, że Google to przyjmie, to nie przyjmie. Nawet jeśli captcha jest 100% rozwiązana. Dopóki ręcznie, w INNEJ ZAKŁADCE Selenium nie rozwiążę ręcznie captchy, bot dalej nie może działać. Zauważam w INNEJ ZAKŁADCE. Bo w tej ZAKŁADCE, gdzie była captcha, ona jakby umiera ręcznie, nawet captchy nie da się przejść. 2 razy przechodzisz captchę i Google przekierowuje stronę: google.com/sorry/index
A sama linka z żółtym ogonem znika. Zamiast niej pojawia się ta krótka, co napisałem.
Dlatego problem nie leży w samej usłudze czy Google. A w samym Selenium. Coś jest nie tak z nim. Bo! Kiedy ręcznie w nim rozwiązuję captchę w nowej zakładce, to Google od razu i zawsze daje mi możliwość szukania dalej. W moim Selenium jest folder chrome data. Żeby nie myśleli, że sesja się nie zapisuje. W kod patrzyło 2 różnych programistów. I powiedzieli, że problem może rozwiązać tylko ten, kto dobrze rozumie Selenium. Bo Python nie wszystko może kontrolować. Czasami, aby coś poprawić, trzeba wchodzić w sam kod Selenium, a to już kod binarny.
Kto rozwijał coś na Selenium, dla niego wyjaśnienie takiego problemu będzie łatwe. Należy usunąć błędy, które są w konsoli parsera, możliwe, że problem jest przez nie, myślę, że ich nie powinno być.
Dla mnie to wszystko dziwne. Bo w usłudze rozwiązywania captchy jest szczegółowa instrukcja. Api Python + selenium. Dokładnie się do niej stosowaliśmy. Kto pomoże, zawsze będę dawał stałą pracę. Mam wiele różnych projektów. Dziękuję za uwagę!
-
Невірний підхід до проблеми. Треба робити так, що б Гугл не викидав капчу)
-
У вас проблема с самим селениумом, который детектится, просмотрите фингерпринты, попробуйте использовать стелс, или поднятие реального браузера с подключением CDP сессии, рассмотрите варианты с антидектектами по типу адспавер, гологин и т.д.
Также немаловажную роль играют прокси, обязательно резидентские, никаких датацентров (которые дешевле).
-
Олексанр, у вас все ще відкрите питання?
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 5 godzin 26 minut temu ∙ 17 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 10 godzin temu ∙ 41 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 3 godziny temu ∙ 58 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 7 godzin temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 3 dni 23 godziny temu ∙ 44 oferty |