Python + Selenium. Антикапча. Парсинг гугл пошук.
2000 UAHВітаю. Детально дам лог з проблемою, тому хто напише в ставці. Задача для того хто мав досвід з ботами/парсерами які працювали на Selenium і робили запит в гугл пошук і використовували сервіс антикапчі. Маю парсера на Phyton, запити робить через aiohttp. Має локальний хост. Він робить запит, в гугл пошук. Використовує для цього Selenium.
Приклад проблеми. Парсер відкрив Selenium відправив пошуковий запит, в гугл пошук. Прилетіла капча. Сервіс антикапчі вирішив капчу. Бот гуглить далі. Проблема в тому. Що силеніум буває передає ключ вирішеної капчі. Но далі буває таке. Гугл то прийме ключ то не прийме. Навіть як що капча 100% вирішена. Поки вручну, в ІНШІЙ ВКЛАДЦІ селеніума не вирішу вручну капчу бот далі не може працювати. Зауважу в ІНШІЙ ВКЛАДЦІ. Бо в цій ВКЛАДЦІ де була капча вона як відмирає вручну навіть капчу не пройти. 2 рази проходиш капчу і гугл переводить сторінку: google.com/sorry/index
А сама силка з жовгим хвостом пропадає. Замість неї стає та коротка що написав.
Тому діло не в самому сервісі чи гуглі. А в самому селеніумі. Щось не так з ним. Бо! Коли вручну в ньому розгадую капчу у новій вклалці то гугл відразу і завжди дає мені можливість гуглити далі. В мому селеніумі є папка chrome data. Щоб не думали що не зберігається сесія. В код дивились 2 різних розробника. І сказали що проблему може вирішити тільки той хто селеніум добре розуміє. Бо Python не все може контролювати. Іноді щоб щось поправити потрібно в сам код самого селеніума лізти, а це уже бінарний код.
Хто розробляв щось на selenium для нього вияснити таку проблему буде легко. Потрібно ошибки які в консолі парсера усунути можливо проблема така через них, думаю їх не повинно бути.
Для мене все це дивно. Бо на сервісі розгадування капчі, є детальна інструкція. Api Python + selenium. Ми її детально дотримувались. Хто допоможе буду завжди давати постійну роботу. Багато маю різних проектів. Дякую за увагу!
-
Невірний підхід до проблеми. Треба робити так, що б Гугл не викидав капчу)
-
У вас проблема с самим селениумом, который детектится, просмотрите фингерпринты, попробуйте использовать стелс, или поднятие реального браузера с подключением CDP сессии, рассмотрите варианты с антидектектами по типу адспавер, гологин и т.д.
Также немаловажную роль играют прокси, обязательно резидентские, никаких датацентров (которые дешевле).
-
Олексанр, у вас все ще відкрите питання?
-
Актуальні фриланс-проєкти в категорії Python
Створення Human AI Assistant для Telegram-групп### 1.1. Ключова концепція системи Система повинна виконувати дві основні функції: #### 1. Аналіз клієнтської комунікації AI-асистент має автоматично аналізувати всю комунікацію в Telegram-групах та розуміти контекст спілкування. Зокрема система повинна: - визначати… AI та машинне навчання, Python ∙ 18 годин 26 хвилин тому ∙ 34 ставки |
Чорна Україна (RP-проект на базі MTA)
51 525 UAH
|
Автоматизація розсилки повідомлень у чати TelegramПотрібно розсилати в телеграм чати повідомлення. Щоб не було банів. Чатів кілька сотень. Щоб налаштовувати періодичність і варіативність текстів. Python, Розробка ботів ∙ 19 годин 19 хвилин тому ∙ 28 ставок |
Розробка програмного забезпечення з ШІПотрібно розробити програмне забезпечення для автоматичного виявлення, захоплення та супроводження об'єкта за допомогою відеокамери та поворотного механізму.Вихідні дані: Відеокамера з оптикою. Поворотний пристрій по двох осях (азимут/кут місця). Сервоприводи з керуванням через… AI та машинне навчання, Python ∙ 2 дні 2 години тому ∙ 17 ставок |
Автоматизація процесів через API та PythonНижче описав поточний процес і те, до якого результату хотілося б прийти. Також прикладаю файли реального процесу, щоб краще зрозуміти, як він виглядає в реальності Поточний процес Зараз весь процес виконується вручну: завантаження/вивантаження файлів, перенесення даних… AI та машинне навчання, Python ∙ 2 дні 7 годин тому ∙ 44 ставки |