Python Selenium Parsera. Przepływ blokowania
Oto opis zadania
https://docs.google.com/document/d/1t-OrpVBHZAoxIyTsumNzrkhHCnVpOekDaX_3GD7rOAs/edit?usp=sharing
Kto wie jak rozwiązać ten problem, napisz:
- Koszt
- terminy
-
7 dni246 PLN
3469 28 0 7 dni246 PLN
Pozdrawiam, można napisać za pośrednictwem API Youtube, rotację proxy dodamy, jeśli to konieczne. A do rozwiązania kropli są zasoby, które będą kosztować mniej niż dolar miesięcznie, można je również podłączyć.
Możesz przekształcić się w asynchronne zapytania + API + rotacja proxy + kropla solwer
-
Ниче не понятно на скрине. Что там написано скопируйте или фото лучшего качества
-
your computer or network may be sending automated queries
-
открыл на компе, там видно. Суть в том, что Селен так или иначе работает по алгоритму, выполняя однотипные действия. Ютуб их отслеживает и пишет вам, что вы выполняете одиковые запросы. По хорошему надо работать с Api ютуба. Селеном если, то надо ставить рандомные таймы между запросами и то, периодически будет вываливаться капча, которую нужно обходить.
-
По хорошему надо работать с Api ютуба
--- Это да. Но АПИ не позволяет получить почту
надо ставить рандомные таймы между запросами
--- Рандомные запросы ставим. Даже сделал функцию которая после нескольких каналов заходит в гугл. Ищет сайты и ходит по сайтам
Всё равно вылазит эта ерунда -
попробуйте добавить тег в опции хрома
chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--incognito") -
не завжди то допоможе
-
Инкогнито вообще не подходит
Т.к. у нас идёт подключение профилей
А если режим инкогнито - то профили не работают
-
селен тут не нужен. Вам надо отправить пост запрос в сессии на адрес: https://www.youtube.com/youtubei/v1/channel/reveal_business_email?key= #тут ключ, который надо отдельно получить и вставлять в запросы как переменную. В ответ вы получите ответ в json, в нет и будет почта. Распарсить потом этот json файл.
-
А вы пробовали уже такое?
Просто у Ютуба есть ограничение. Если брать обычного пользователя. То он может просмотреть не более 10 имейлов в сутки
Мы для этого меняем профили. Чтобы с каждого профиля можно было получить эти 10 почт и потом сменить профиль на новый и т.д.А если такое же ограничение и в АПИ? То что в этом случае?
Не думаю что они через АПИ больше 10 штук в сутки отдадут
-
Попробуйте. Но то, что почту через него отдает без селениума, это факт
-
Почитал про это
Не думаю, что это сработаетЧтобы получать имеил через АПИ - пользователю приходит запрос. Что такое-то приложение запрашивает доступ к вашему имеил
И вряд ли кто-то такие запросы будет подтверждать
-
Хз. Только что 20 запросов отправил на один и тот же адрес с рандомным таймом, все 20 раз пришел ответ
-
Вы YouTube Data API v3 используете?
-
Нет. Я просто отправил пост запрос на этот адрес. Даже проксю не менял. Ключ я просто скопировал вместе с адресом с рандомного канала, на какой я подписан. Думаю, что ключ этот можно найти или в канале где-то или он в куках. Я не смотрел и не разбирался что это за ключ
-
теж так в мене все ок працює
-
Ранее с этим API не работали
Сейчас вот подключили. Запустили. Выдает ошибку такую
"error": {
"code": 403,
"message": "YouTube Internal API (InnerTube) has not been used in project 405111526703 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/youtubei.googleapis.com/overview?project=405111526703 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",Не подскажите что это?
-
А инглиш нет ? Вы либо нанимайте специалиста и платите либо идите на хабр (это сайт такой). Вам уже был дан ответ, как получить почту с канала, причем бесплатный
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 3 godziny 41 minut temu ∙ 26 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
492 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 20 godzin 8 minut temu ∙ 46 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień temu ∙ 26 ofert |
Parsowanie i klasyfikacja dużej liczby obrazówNależy zrealizować projekt zbierania i strukturyzacji dużej ilości architektonicznych obrazów z otwartych źródeł internetowych.Zadanie obejmuje: automatyczne zbieranie obrazów; ładowanie plików w maksymalnie dostępnej jakości; klasyfikację obrazów według kategorii: Exterior;… Python, Parsowanie danych ∙ 1 dzień temu ∙ 30 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 16 godzin temu ∙ 42 oferty |
Zaporoże