Python Selenium Parser. Circulation of blocking
-
7 days68 USD
3469 28 0 7 days68 USD
Hello, you can write through the API of the Youtube, the rotating proxy will be added if necessary. And to solve the drops there are resources that will cost you less than a dollar a month, you can also connect them.
You can convert to asynchronous requests + api + proxy rotation + drop solver
-
Ниче не понятно на скрине. Что там написано скопируйте или фото лучшего качества
-
your computer or network may be sending automated queries
-
открыл на компе, там видно. Суть в том, что Селен так или иначе работает по алгоритму, выполняя однотипные действия. Ютуб их отслеживает и пишет вам, что вы выполняете одиковые запросы. По хорошему надо работать с Api ютуба. Селеном если, то надо ставить рандомные таймы между запросами и то, периодически будет вываливаться капча, которую нужно обходить.
-
По хорошему надо работать с Api ютуба
--- Это да. Но АПИ не позволяет получить почту
надо ставить рандомные таймы между запросами
--- Рандомные запросы ставим. Даже сделал функцию которая после нескольких каналов заходит в гугл. Ищет сайты и ходит по сайтам
Всё равно вылазит эта ерунда -
попробуйте добавить тег в опции хрома
chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--incognito") -
не завжди то допоможе
-
Инкогнито вообще не подходит
Т.к. у нас идёт подключение профилей
А если режим инкогнито - то профили не работают
-
селен тут не нужен. Вам надо отправить пост запрос в сессии на адрес: https://www.youtube.com/youtubei/v1/channel/reveal_business_email?key= #тут ключ, который надо отдельно получить и вставлять в запросы как переменную. В ответ вы получите ответ в json, в нет и будет почта. Распарсить потом этот json файл.
-
А вы пробовали уже такое?
Просто у Ютуба есть ограничение. Если брать обычного пользователя. То он может просмотреть не более 10 имейлов в сутки
Мы для этого меняем профили. Чтобы с каждого профиля можно было получить эти 10 почт и потом сменить профиль на новый и т.д.А если такое же ограничение и в АПИ? То что в этом случае?
Не думаю что они через АПИ больше 10 штук в сутки отдадут
-
Попробуйте. Но то, что почту через него отдает без селениума, это факт
-
Почитал про это
Не думаю, что это сработаетЧтобы получать имеил через АПИ - пользователю приходит запрос. Что такое-то приложение запрашивает доступ к вашему имеил
И вряд ли кто-то такие запросы будет подтверждать
-
Хз. Только что 20 запросов отправил на один и тот же адрес с рандомным таймом, все 20 раз пришел ответ
-
Вы YouTube Data API v3 используете?
-
Нет. Я просто отправил пост запрос на этот адрес. Даже проксю не менял. Ключ я просто скопировал вместе с адресом с рандомного канала, на какой я подписан. Думаю, что ключ этот можно найти или в канале где-то или он в куках. Я не смотрел и не разбирался что это за ключ
-
теж так в мене все ок працює
-
Ранее с этим API не работали
Сейчас вот подключили. Запустили. Выдает ошибку такую
"error": {
"code": 403,
"message": "YouTube Internal API (InnerTube) has not been used in project 405111526703 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/youtubei.googleapis.com/overview?project=405111526703 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",Не подскажите что это?
-
А инглиш нет ? Вы либо нанимайте специалиста и платите либо идите на хабр (это сайт такой). Вам уже был дан ответ, как получить почту с канала, причем бесплатный
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 5 hours 16 minutes back ∙ 28 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 21 hours 42 minutes back ∙ 46 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
47 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 1 day 1 hour back ∙ 27 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 2 days 18 hours back ∙ 42 proposals |
Collection (parsing) of product database from supplier websites (Excel / CSV)
226 USD
Collection of product database from supplier websites (Excel / CSV) Good day. A specialist is required to collect and structure data from several supplier websites, access to which will be provided.Task: A unified product database needs to be created in Excel (XLSX) or CSV… Web Programming, Data Parsing ∙ 4 days 1 hour back ∙ 103 proposals |
Zaporizhzhia