Python Selenium парсер. Обхід блокування
Ось опис завдання
https://docs.google.com/document/d/1t-OrpVBHZAoxIyTsumNzrkhHCnVpOekDaX_3GD7rOAs/edit?usp=sharing
Хто знає, як вирішити цю проблему, напишіть:
- вартість
- терміни
-
7 днів3000 UAH
3469 28 0 7 днів3000 UAH
Привітання, можна написати через API ютуба, ротацію прокси додамо, якщо потрібно. А для вирішення капчи є ресурси, які коштуватимуть вам в менше доларів на місяць, їх також можна підключити.
Можна перетворити на асинхронні запити + api + ротація прокси + капча сольвер
-
Ниче не понятно на скрине. Что там написано скопируйте или фото лучшего качества
-
your computer or network may be sending automated queries
-
открыл на компе, там видно. Суть в том, что Селен так или иначе работает по алгоритму, выполняя однотипные действия. Ютуб их отслеживает и пишет вам, что вы выполняете одиковые запросы. По хорошему надо работать с Api ютуба. Селеном если, то надо ставить рандомные таймы между запросами и то, периодически будет вываливаться капча, которую нужно обходить.
-
По хорошему надо работать с Api ютуба
--- Это да. Но АПИ не позволяет получить почту
надо ставить рандомные таймы между запросами
--- Рандомные запросы ставим. Даже сделал функцию которая после нескольких каналов заходит в гугл. Ищет сайты и ходит по сайтам
Всё равно вылазит эта ерунда -
попробуйте добавить тег в опции хрома
chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--incognito") -
не завжди то допоможе
-
Инкогнито вообще не подходит
Т.к. у нас идёт подключение профилей
А если режим инкогнито - то профили не работают
-
селен тут не нужен. Вам надо отправить пост запрос в сессии на адрес: https://www.youtube.com/youtubei/v1/channel/reveal_business_email?key= #тут ключ, который надо отдельно получить и вставлять в запросы как переменную. В ответ вы получите ответ в json, в нет и будет почта. Распарсить потом этот json файл.
-
А вы пробовали уже такое?
Просто у Ютуба есть ограничение. Если брать обычного пользователя. То он может просмотреть не более 10 имейлов в сутки
Мы для этого меняем профили. Чтобы с каждого профиля можно было получить эти 10 почт и потом сменить профиль на новый и т.д.А если такое же ограничение и в АПИ? То что в этом случае?
Не думаю что они через АПИ больше 10 штук в сутки отдадут
-
Попробуйте. Но то, что почту через него отдает без селениума, это факт
-
Почитал про это
Не думаю, что это сработаетЧтобы получать имеил через АПИ - пользователю приходит запрос. Что такое-то приложение запрашивает доступ к вашему имеил
И вряд ли кто-то такие запросы будет подтверждать
-
Хз. Только что 20 запросов отправил на один и тот же адрес с рандомным таймом, все 20 раз пришел ответ
-
Вы YouTube Data API v3 используете?
-
Нет. Я просто отправил пост запрос на этот адрес. Даже проксю не менял. Ключ я просто скопировал вместе с адресом с рандомного канала, на какой я подписан. Думаю, что ключ этот можно найти или в канале где-то или он в куках. Я не смотрел и не разбирался что это за ключ
-
теж так в мене все ок працює
-
Ранее с этим API не работали
Сейчас вот подключили. Запустили. Выдает ошибку такую
"error": {
"code": 403,
"message": "YouTube Internal API (InnerTube) has not been used in project 405111526703 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/youtubei.googleapis.com/overview?project=405111526703 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",Не подскажите что это?
-
А инглиш нет ? Вы либо нанимайте специалиста и платите либо идите на хабр (это сайт такой). Вам уже был дан ответ, как получить почту с канала, причем бесплатный
-
Актуальні фриланс-проєкти в категорії Python
Спеціаліст з Excel / автоматизації процесів (Excel + бажано програмування)Шукаємо спеціаліста з ПРОСУНУТИМИ знаннями Excel для оптимізації існуючого файлу та автоматизації процесів. Буде великою перевагою, якщо ви також маєте навички програмування / VBA / Power Query / Power Automate або досвід створення складної логіки в Excel. Завдання проекту Є… Python, Бази даних та SQL ∙ 27 хвилин тому ∙ 6 ставок |
Автоматизація процесів через API та PythonНижче описав поточний процес і те, до якого результату хотілося б прийти. Також прикладаю файли реального процесу, щоб краще зрозуміти, як він виглядає в реальності Поточний процес Зараз весь процес виконується вручну: завантаження/вивантаження файлів, перенесення даних… AI та машинне навчання, Python ∙ 1 година 28 хвилин тому ∙ 18 ставок |
Потрібно створити бот в тг для оплати підписки.
2000 UAH
Потрібно створити бот в телеграмі де користувач зможе оформити підписку на доступ до веб камер котрі знгаходяться у дворі. Організувати в боті оплату двух видів підписок (на місяць і на один день). Бот повинен автоматично перевірити оплату і після видавати посилання-доступу Python, Розробка ботів ∙ 14 годин 14 хвилин тому ∙ 67 ставок |
Парсинг та класифікація великого масиву зображеньПотрібно реалізувати проєкт зі збору та структурування великого масиву архітектурних зображень із відкритих вебджерел.Задача включає: автоматизований збір зображень; завантаження файлів у максимально доступній якості; класифікацію зображень за категоріями: Exterior; Interior;… Python, Парсинг даних ∙ 21 година 14 хвилин тому ∙ 30 ставок |
Бізнес-логіка платформи: підтвердження занять, контроль відвідуваності та історія уроків (DjangoДоопрацювання бізнес-логіки освітньої платформи: підтвердження занять, контроль відвідуваності та історія уроків (Django + React) Необхідно реалізувати повноцінну систему підтвердження уроків, контролю відвідуваності та зберігання історії підтверджень. Важливо Перед початком… Python ∙ 3 дні 2 години тому ∙ 29 ставок |
Запоріжжя