Python + Selenium. Антикапча. Парсинг гугл пошук.
2000 UAHВітаю. Детально дам лог з проблемою, тому хто напише в ставці. Задача для того хто мав досвід з ботами/парсерами які працювали на Selenium і робили запит в гугл пошук і використовували сервіс антикапчі. Маю парсера на Phyton, запити робить через aiohttp. Має локальний хост. Він робить запит, в гугл пошук. Використовує для цього Selenium.
Приклад проблеми. Парсер відкрив Selenium відправив пошуковий запит, в гугл пошук. Прилетіла капча. Сервіс антикапчі вирішив капчу. Бот гуглить далі. Проблема в тому. Що силеніум буває передає ключ вирішеної капчі. Но далі буває таке. Гугл то прийме ключ то не прийме. Навіть як що капча 100% вирішена. Поки вручну, в ІНШІЙ ВКЛАДЦІ селеніума не вирішу вручну капчу бот далі не може працювати. Зауважу в ІНШІЙ ВКЛАДЦІ. Бо в цій ВКЛАДЦІ де була капча вона як відмирає вручну навіть капчу не пройти. 2 рази проходиш капчу і гугл переводить сторінку: google.com/sorry/index
А сама силка з жовгим хвостом пропадає. Замість неї стає та коротка що написав.
Тому діло не в самому сервісі чи гуглі. А в самому селеніумі. Щось не так з ним. Бо! Коли вручну в ньому розгадую капчу у новій вклалці то гугл відразу і завжди дає мені можливість гуглити далі. В мому селеніумі є папка chrome data. Щоб не думали що не зберігається сесія. В код дивились 2 різних розробника. І сказали що проблему може вирішити тільки той хто селеніум добре розуміє. Бо Python не все може контролювати. Іноді щоб щось поправити потрібно в сам код самого селеніума лізти, а це уже бінарний код.
Хто розробляв щось на selenium для нього вияснити таку проблему буде легко. Потрібно ошибки які в консолі парсера усунути можливо проблема така через них, думаю їх не повинно бути.
Для мене все це дивно. Бо на сервісі розгадування капчі, є детальна інструкція. Api Python + selenium. Ми її детально дотримувались. Хто допоможе буду завжди давати постійну роботу. Багато маю різних проектів. Дякую за увагу!
-
Невірний підхід до проблеми. Треба робити так, що б Гугл не викидав капчу)
-
У вас проблема с самим селениумом, который детектится, просмотрите фингерпринты, попробуйте использовать стелс, или поднятие реального браузера с подключением CDP сессии, рассмотрите варианты с антидектектами по типу адспавер, гологин и т.д.
Также немаловажную роль играют прокси, обязательно резидентские, никаких датацентров (которые дешевле).
-
Олексанр, у вас все ще відкрите питання?
-
Актуальні фриланс-проєкти в категорії Python
Телеграм бот з авторизацією auth0
10 385 UAH
Ми розробляємо корпоративні чатбот-асистенти і хочемо додати опцію взаємодії з чатботами через публічні месенджери (на даний момент - Telegram, але потім будемо додавати WhatsApp). Мені потрібне готове до інтеграції рішення, що складається з Телеграм-бота, який при початку… Python, Бази даних та SQL ∙ 9 годин 57 хвилин тому ∙ 5 ставок |
Розробник Python FastAPI, Blender API
20 000 UAH
Требуется розробник (не команда) для створення системи автоматичної генерації реалістичних 3D-аватарів на основі фото обличчя + параметрів тіла, а також накладення 3D-одягу, згенерованого з 2D-ображень. Завдання: - API, що приймає фото обличчя + параметри тіла → генерація… Python, Веб-програмування ∙ 10 годин 50 хвилин тому ∙ 2 ставки |
Сайт з інтеграцією в тг ( щоб відкривався в тг як тапалки ) + ТГ Бот
27 000 UAH
1) сайт просто новостний і рейтинговий для сайтів, які пропонують певні послуги, де можна вести блог на кілька категорій, новини, історії, наприклад, і так пару категорій, які я вкажу, підключити АІ, щоб сам робив унікальні статті під категорії, а також для людей дивитися… PHP, Python ∙ 12 годин 43 хвилини тому ∙ 5 ставок |
Parser web page olx.pl, adresowo.pl i inne. https://www.adradar.pl/
5359 UAH
Треба створити парсер обьявлений с OLX номерів телефонів. Еще один сайт тоже польский. Є декілька варіантів, як це можна зробити. Перший це через Bearer але в нього є свої проблеми і другий через селеніум або іншу біблеотеку. Проблема заключається в тому щоб спарсити телефон з… Парсинг даних, Python ∙ 16 годин 58 хвилин тому ∙ 15 ставок |
Система спілкування з клієнтами офлайн з ші
700 UAH
Є кухня з вітриною що стоїть біля закладу і потрібно реалізувати наступне: 1. Датчик приближення людини реєструє що хтось підійшов до вітрини. 2. Автоматично активується камера та робить фото 3. Фото передається в ші для визначення чи є обличчя в базі. 4. Паралельно система… AI та машинне навчання, Python ∙ 22 години 31 хвилина тому ∙ 2 ставки |