Python Selenium Parsera. Przepływ blokowania
Oto opis zadania
https://docs.google.com/document/d/1t-OrpVBHZAoxIyTsumNzrkhHCnVpOekDaX_3GD7rOAs/edit?usp=sharing
Kto wie jak rozwiązać ten problem, napisz:
- Koszt
- terminy
-
7 dni251 PLN
3447 28 0 7 dni251 PLN
Pozdrawiam, można napisać za pośrednictwem API Youtube, rotację proxy dodamy, jeśli to konieczne. A do rozwiązania kropli są zasoby, które będą kosztować mniej niż dolar miesięcznie, można je również podłączyć.
Możesz przekształcić się w asynchronne zapytania + API + rotacja proxy + kropla solwer
-
Ниче не понятно на скрине. Что там написано скопируйте или фото лучшего качества
-
your computer or network may be sending automated queries
-
открыл на компе, там видно. Суть в том, что Селен так или иначе работает по алгоритму, выполняя однотипные действия. Ютуб их отслеживает и пишет вам, что вы выполняете одиковые запросы. По хорошему надо работать с Api ютуба. Селеном если, то надо ставить рандомные таймы между запросами и то, периодически будет вываливаться капча, которую нужно обходить.
-
По хорошему надо работать с Api ютуба
--- Это да. Но АПИ не позволяет получить почту
надо ставить рандомные таймы между запросами
--- Рандомные запросы ставим. Даже сделал функцию которая после нескольких каналов заходит в гугл. Ищет сайты и ходит по сайтам
Всё равно вылазит эта ерунда -
попробуйте добавить тег в опции хрома
chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--incognito") -
не завжди то допоможе
-
Инкогнито вообще не подходит
Т.к. у нас идёт подключение профилей
А если режим инкогнито - то профили не работают
-
селен тут не нужен. Вам надо отправить пост запрос в сессии на адрес: https://www.youtube.com/youtubei/v1/channel/reveal_business_email?key= #тут ключ, который надо отдельно получить и вставлять в запросы как переменную. В ответ вы получите ответ в json, в нет и будет почта. Распарсить потом этот json файл.
-
А вы пробовали уже такое?
Просто у Ютуба есть ограничение. Если брать обычного пользователя. То он может просмотреть не более 10 имейлов в сутки
Мы для этого меняем профили. Чтобы с каждого профиля можно было получить эти 10 почт и потом сменить профиль на новый и т.д.А если такое же ограничение и в АПИ? То что в этом случае?
Не думаю что они через АПИ больше 10 штук в сутки отдадут
-
Попробуйте. Но то, что почту через него отдает без селениума, это факт
-
Почитал про это
Не думаю, что это сработаетЧтобы получать имеил через АПИ - пользователю приходит запрос. Что такое-то приложение запрашивает доступ к вашему имеил
И вряд ли кто-то такие запросы будет подтверждать
-
Хз. Только что 20 запросов отправил на один и тот же адрес с рандомным таймом, все 20 раз пришел ответ
-
Вы YouTube Data API v3 используете?
-
Нет. Я просто отправил пост запрос на этот адрес. Даже проксю не менял. Ключ я просто скопировал вместе с адресом с рандомного канала, на какой я подписан. Думаю, что ключ этот можно найти или в канале где-то или он в куках. Я не смотрел и не разбирался что это за ключ
-
теж так в мене все ок працює
-
Ранее с этим API не работали
Сейчас вот подключили. Запустили. Выдает ошибку такую
"error": {
"code": 403,
"message": "YouTube Internal API (InnerTube) has not been used in project 405111526703 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/youtubei.googleapis.com/overview?project=405111526703 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",Не подскажите что это?
-
А инглиш нет ? Вы либо нанимайте специалиста и платите либо идите на хабр (это сайт такой). Вам уже был дан ответ, как получить почту с канала, причем бесплатный
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Szukam programisty do OpenCartDzień dobry 1) należy wdrożyć na stronie dneprkomfort.dp.uazakupiono moduł dla ukraińskich banków, już wdrożono Monto bank oto przykład naszego konkurenta Trzeba zrobić rozłożenie na raty, zakupy na raty (Monto Bank) Pumb, Sens, Monto domyślnie 2 płatności na 2 miesiące Pumb… Programowanie stron internetowych, Parsowanie danych ∙ 16 godzin 10 minut temu ∙ 43 oferty |
Wymagany specjalista ds. promocji w Telegramie.
107 PLN
Zadania: zapraszanie rzeczywistych użytkowników z bazy nazw użytkowników do nowych czatów oraz wysyłanie wiadomości do docelowej bazy. Interesuje nas tylko jakościowy ruch i praca z żywą publicznością — wykonawców korzystających z botów, sztucznego zwiększania lub niskiej… Parsowanie danych, Promocja w sieciach społecznościowych (SMM) ∙ 4 dni 18 godzin temu ∙ 9 ofert |
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 8 dni 13 godzin temu ∙ 13 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 8 dni 18 godzin temu ∙ 21 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 8 dni 23 godziny temu ∙ 28 ofert |
Zaporoże