Python Selenium парсер. Обход блокировки
Добрый день
Вот описание задачи
https://docs.google.com/document/d/1t-OrpVBHZAoxIyTsumNzrkhHCnVpOekDaX_3GD7rOAs/edit?usp=sharing
Кто знает как решить данную проблему, пишите:
- Стоимость
- Сроки
-
7 дней3000 UAH
3447 28 0 7 дней3000 UAH
Привет, можно написать через api ютуба, ротацию прокси добавим если нужно. А для решения капчи есть ресурсы которые обойдутся вам в менее доллара в месяц, их тоже можно подключить.
Можно переделать на асинхронные запросы + api + ротация прокси + капча солвер
-
Ниче не понятно на скрине. Что там написано скопируйте или фото лучшего качества
-
your computer or network may be sending automated queries
-
открыл на компе, там видно. Суть в том, что Селен так или иначе работает по алгоритму, выполняя однотипные действия. Ютуб их отслеживает и пишет вам, что вы выполняете одиковые запросы. По хорошему надо работать с Api ютуба. Селеном если, то надо ставить рандомные таймы между запросами и то, периодически будет вываливаться капча, которую нужно обходить.
-
По хорошему надо работать с Api ютуба
--- Это да. Но АПИ не позволяет получить почту
надо ставить рандомные таймы между запросами
--- Рандомные запросы ставим. Даже сделал функцию которая после нескольких каналов заходит в гугл. Ищет сайты и ходит по сайтам
Всё равно вылазит эта ерунда -
попробуйте добавить тег в опции хрома
chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--incognito") -
не завжди то допоможе
-
Инкогнито вообще не подходит
Т.к. у нас идёт подключение профилей
А если режим инкогнито - то профили не работают
-
селен тут не нужен. Вам надо отправить пост запрос в сессии на адрес: https://www.youtube.com/youtubei/v1/channel/reveal_business_email?key= #тут ключ, который надо отдельно получить и вставлять в запросы как переменную. В ответ вы получите ответ в json, в нет и будет почта. Распарсить потом этот json файл.
-
А вы пробовали уже такое?
Просто у Ютуба есть ограничение. Если брать обычного пользователя. То он может просмотреть не более 10 имейлов в сутки
Мы для этого меняем профили. Чтобы с каждого профиля можно было получить эти 10 почт и потом сменить профиль на новый и т.д.А если такое же ограничение и в АПИ? То что в этом случае?
Не думаю что они через АПИ больше 10 штук в сутки отдадут
-
Попробуйте. Но то, что почту через него отдает без селениума, это факт
-
Почитал про это
Не думаю, что это сработаетЧтобы получать имеил через АПИ - пользователю приходит запрос. Что такое-то приложение запрашивает доступ к вашему имеил
И вряд ли кто-то такие запросы будет подтверждать
-
Хз. Только что 20 запросов отправил на один и тот же адрес с рандомным таймом, все 20 раз пришел ответ
-
Вы YouTube Data API v3 используете?
-
Нет. Я просто отправил пост запрос на этот адрес. Даже проксю не менял. Ключ я просто скопировал вместе с адресом с рандомного канала, на какой я подписан. Думаю, что ключ этот можно найти или в канале где-то или он в куках. Я не смотрел и не разбирался что это за ключ
-
теж так в мене все ок працює
-
Ранее с этим API не работали
Сейчас вот подключили. Запустили. Выдает ошибку такую
"error": {
"code": 403,
"message": "YouTube Internal API (InnerTube) has not been used in project 405111526703 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/youtubei.googleapis.com/overview?project=405111526703 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",Не подскажите что это?
-
А инглиш нет ? Вы либо нанимайте специалиста и платите либо идите на хабр (это сайт такой). Вам уже был дан ответ, как получить почту с канала, причем бесплатный
-
Актуальные фриланс-проекты в категории Python
AI Commenting Platform для TikTok и Instagram.Цель проекта Разработать систему, которая позволяет управлять большим количеством аккаунтов TikTok и Instagram и автоматически публиковать релевантные комментарии под выбранными видео с использованием ИИ. Основной функционал1. Управление аккаунтами Необходимо реализовать… AI и машинное обучение, Python ∙ 21 час 27 минут назад ∙ 15 ставок |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 2 дня 15 часов назад ∙ 34 ставки |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 2 дня 21 час назад ∙ 44 ставки |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 3 дня 9 часов назад ∙ 42 ставки |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 3 дня 21 час назад ∙ 59 ставок |
Запорожье