Добавить в парсер на Python: Proxy, звук, условия в config.yaml.
Здравствуйте. Задание для тех, кто подключал список proxy ipv4 с паролем к парсеру на Python. А также знает, как добавить логику, чтобы парсер при возникновении ошибки брал другой proxy из списка, который я ему дал. КОД где что находится я знаю, и вам покажу.
Чтобы оценить код и стоимость работы. И вы напишете, какую-то условную цифру. Понимаю вас. Поэтому удобный вариант. Подключились к моему ПК Anydesk или Teamviewer. Посмотрели на код. Поняли, что можете выполнить задание. Обновили свою ставку под проектом, приму вас в проект. Внесу резерв средств. Снова подключитесь и напишите нужный код. Я протестирую, если работает, принимаю проект. Я скомпилирую сам, соберу билд. И только так! Потому что! Если вы не посмотрите в код, напишите какую-то ставку. То что на выходе будет? Потрачено мое и ваше время впустую и средства? Думаю, ни вам, ни мне, так не нужно. Думаю, это выяснили.
Компилятор у меня PyCharm. Сделал возможность запускать парсер, сам main, в компиляторе. Удобно для тестирования кода.
Про сам код: код написан на Python. Запросы на сервер выполняются через aiohttp, потому что проект является асинхронным, то есть параллельно отправляются запросы на сервер, а не по порядку.
Сборка выполнена через библиотеку PyInstaller. Запускаю .exe программу, и запускается командная строка. А сам парсер открывается в браузере, локально по адресу 127: и так далее.
1. Подключить proxy Ipv4 с паролем. Написать код для подключения proxy. Реализовать так, чтобы proxy брало из моего config.yaml и само собой написало в самом config.yaml. Должно быть поле proxy. Потом там должен быть список моих proxy: в таком порядке.
Все прокси будут идти в столбик. У каждого прокси свой ip:port:password.
При запуске программы пусть берет любой proxy из списка. Это можно прописать в файл main.py. Чтобы при старте программы брался прокси. Обязательно прописываем код, если возникает ошибка при подключении к proxy, а такое всегда может быть, то выбрать другой из списка.
Теперь самое важное! При сборе результатов с гугла. Возникает ошибка. Через некоторое время прилетает капча. Лимиты рандомные прописаны. Мне помогает смена ip, делал это вручную. Здесь есть прописанный код сделать повторное подключение через 15-20 секунд. И тут нужно дописать. Во время паузы, взять другой прокси, который в списке в файле config.yaml. Если снова ошибка. Снова взять другой. Только не какой-нибудь, не рандомно, а по очереди. Брал 2 proxy, теперь возьми 3 proxy. Тестировал вручную, пока пауза менял ip, и тогда гугл забирал свою капчу, и парсер дальше работал. НА ЭКРАНЕ КОД. Пауза и задержка. А также прописанный стандартный звук. Звуки нужно будет заменить на мои. Об этом в пункте 2.
2. Прописать код для звука. Сейчас там звуки стандартные прописаны. Какие автоматически генерируются. Хочу, чтобы вы заменили код. На код, в котором будет указано, чтобы брало звуки из config.yaml. Другими словами при различных действиях программы указываем путь к config.yaml.
А я уже сам буду в Config указывать адрес размещения звуков. Только покажете для примера, как там адрес правильно писать.
В каких моментах и где вставить эти звуки, я в коде покажу. Но прописываем для каждого действия программы свои значения, звук будет разный. Ну типа в config будет.
Поле Sound. И в нем будет. Список 5 звуков. Старт парсинга поиска. Конец парсинга поиска. Начат парсинг сайтов. Ошибка 429. Там звук будет, вставим. Завершение парсинга сайтов. Условия для примера, я ниже прописал.
google_search_start "диск:C/папка/1-звук.mp3"
google_search_end "диск:C/папка/2-звук.mp3"
И так далее. 5 звуков.
3. По умолчанию. Сделать 2 активные кнопки. Чтобы я их не включал каждый раз. А сами уже были включены. Тут понятно и просто.
Сделать, чтобы после завершения сбора результатов. Автоматически нажималась кнопка парсинга. Потому что сейчас я на нее каждый раз нажимаю. Тут тоже ничего тяжелого. Только вывести включение и выключение этого действия в config.yaml
Типа назовем поле. Google_Search_And_Parsing: "1" #1 - активирует автоматическое действие. 0 - отключит это действие.
Ну типа если я сам захожу нажимать на эту кнопку как и раньше, то чтобы я не заходил каждый раз в код. А заходил только в CONFIG. И там включал и выключал.
Приложения 1
-
3893 24 0 Добрый день,
Я готов взяться за ваш проект. У меня есть опыт подключения proxy IPv4 с паролем к парсеру на Python и навыки добавления логики для автоматического выбора другого proxy в случае ошибки. Я знаю, где находится код и готов вам его показать.
Моя ставка - 16$ в час. Для начала работы мне нужно более подробно ознакомиться с требованиями и объемом проекта.
Оставайтесь на связи,
Максим
-
357 8 0 1 Работа не сложная, с парсингом работаю больше двух лет, смогу выполнить без проблем. Есть несколько вопросов, которые хотел бы обсудить в личных
-
Чому Ви для кожного нового завдання над Вашим парсером шукаєте нового фрілансера щоб виконав а не знайдете одного який би Вам робив би все по цьому парсері ?
-
оо який грандіозний авторитаризм. Самий зайнятий замовник, що готовий купу часу витратити на підключення кожного хто тут підпишеться, дочекається поки той знайде помилку ... і так по черзі, але відповісти на просте, логічне запитання - та ну...
Не знаю, як ви Віталій, а я вже здогадуюся чому роботодавець не звертається до попередніх виконавців 😉
-
Актуальные фриланс-проекты в категории Python
Разработка программного обеспечения с ИИНеобходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 20 часов 30 минут назад ∙ 13 ставок |
ТЗ НА ДОПРАЦЮВАНИЕ AI-БОТА ГЕНЕРАЦИИ ЛИЧНЫХ ПЕСЕНТЗ НА ДОПРАЦЮВАННЯ AI-БОТА ГЕНЕРАЦІЇ ПЕРСОНАЛЬНИХ ПІСЕНЬГОЛОВНА ЦІЛЬ Створити стабільний преміальний продукт, який: генерує максимально якісні персональні пісні; не вигадує факти про клієнта; працює стабільно під навантаженням; легко масштабується; дозволяє аналізувати та… Python, Разработка ботов ∙ 21 час 35 минут назад ∙ 30 ставок |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 1 день 1 час назад ∙ 42 ставки |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 1 день 14 часов назад ∙ 78 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 4 дня 2 часа назад ∙ 30 ставок |