Додати в парсер на Phyton: Proxy, звук, умови в config.yaml.
Вітаю. Завдання для тих хто підключав список proxy ipv4 з паролем до парсера на Phyton. А також знає як додати логіку, щоб парсер при винекнені помилки, брав інший proxy із списку який я йому дав. КОД де що находиться я знаю, і вам покажу.
Щоб оцінити код і вартість роботи. І ви напишете, щас умовну цифру. Розумію вас. Тому зручний варіант. Під'єдналися до мого пк Anydesk або Teamviver. Глянули на код. Зрозуміли, що можете виконати завдання. Обновили свою ставку під проектом, прийму вас у проект. Внесу резерв коштів. Знову під'єднаєтесь і напишете потрібний код. Я протестую, як що працює, приймаю проект. Я зкомпілюю сам, зберу білд. І тільки так! Бо! Як що ви не глянете у код, напишете яку не будь ставку. То що на виході буде? Потрачений мій і ваш час в пусту і кошти? Думаю ні вам, ні мені, так не потрібно. Думаю це вияснили.
Компілятор в мене Phycharm. Зробив можливість запускати парсер, сам main, в компіляторі. Зручно для тестування коду.
Про сам код: код написаний на Python. Запити на сервер виконуються через aiohttp, бо проект є асинхронним, тобто паралельно відправляються запити на сервер, а не по порядку.
Збірка виконана через бібліотеку PyInstaller. Запускаю .exe программу, і запускається командна строка. А сам парсер відкривається в браузері, локально по адресу 127: і так далі.
1. Підключити proxy Ipv4 з паролем. Написати код для підключення proxy. Реалізувати так. Щоб проxy брало з могу config.yaml і само собою написати в самому config.yaml. Має бути поле proxy. Потім там повинен бути список моїх proxy: в такому порядку.
Всі проксі будуть йти в стовпчик. В кожного проксі, свій ip:port:password.
При запуску програми хай бере любий proxy із списку. Це можна прописати в файл main.py. Щоб при старті програми брався проксі. Обов'язково прописуємо код, як що виникає помилка при підключені до proxy, а таке завжди може бути, то вибрати інший зі списку.
Тепер саме важливе! При збору результатів з гугла. Виникає помилка. Через деякий час прилітає капча. Ліміти рандомні прописані. Мені допомагає зміна ip, робив це вручну. Тут є прописаний код зробити повторне підключення через 15-20 секунд. І тут потрібно дописати. Під час паузи, взяти інший проксі який у списку в файлі config.yaml. Як що знову помилка. Знову взяти інший. Тільки не який не будь, не рандомно, а по черзі. Брало 2 proxy, тепер візьми 3 proxy. Тестував вручну, поки пауза міняв ip, і тоді гугл забирав свою капчу, і парсер далі працював. НА СКРІНІ КОД. Пауза і затримка. А також прописаний стандартний звук. Звуки потрібно буде замінити на мої. Про це у пункті 2.
2. Прописати код для звуку. Щас там звуки стандартні прописані. Які автоматом генеруються. Хочу, щоб ви замінили код. На код в якому буде вказано, щоб брало звуки з config.yaml. Іншими словами при різних діях програми вказуємо шлях до config.yaml.
А я уже сам буду в Config вказувати адрес розміщення звуків. Тільки покажете для прикладу як там адрес правильно писати.
В яких моментах і де вставити ці звуки, я в коді покажу. Але прописуємо для кожної дії програми свої значення, звук буде різний. Ну типу в config буде.
Поле Sound. І в ньому буде. Список 5 звуків. Старт парсингу пошука. Кінець парсингу пошука. Розпочатий парсинг сайтів. Помилка 429. Там звук буде, вставимо. Завершення парсингу сайтів. Умови для прикладу, я зниз прописав.
google_search_start "диск:C/папка/1-звук.mp3"
google_search_end "диск:C/папка/2-звук.mp3"
І так далі. 5 звуків.
3. По замовчувані. Зробити 2 активні кнопки. Щоб я їх не включав кожен раз. А самі уже були включені. Тут зрозуміло і просто.
Зробити, щоб після завершення збору результатів. Автоматично натискалась кнопка парсингу. Бо зараз я на неї кожен раз натискаю. Тут теж нічого важкого. Тільки вивести включення і виключення цієї дії в config.yaml
Типу назвемо поле. Google_Search_And_Parsing: "1" #1 - активує автоматичну дію. 0 - відключить цю дію.
Ну типу як що я сам захожу натискати на цю кнопку як і раніше, то щоб я не заходив кожен раз в код. А заходив тільки в CONFIG. І там включав і виключав.
Додатки 1
-
3893 24 0 Добрий день,
Я готовий взятися за ваш проект. У мене є досвід у підключенні proxy IPv4 з паролем до парсера на Python та навички додавання логіки для автоматичного вибору іншого proxy у разі помилки. Я знаю, де знаходиться код і готовий вам його показати.
Мій рейт - 16$ в годину. Для початку роботи мені потрібно детальніше ознайомитися з вимогами та обсягом проекту.
Залишайтеся на зв'язку,
Максим
-
357 8 0 1 Робота не важка, з парсингом працюю більше двох років тому зможу виконати без проблем. Є декілька запитань які б хотів обговорити в особистих
-
Чому Ви для кожного нового завдання над Вашим парсером шукаєте нового фрілансера щоб виконав а не знайдете одного який би Вам робив би все по цьому парсері ?
-
оо який грандіозний авторитаризм. Самий зайнятий замовник, що готовий купу часу витратити на підключення кожного хто тут підпишеться, дочекається поки той знайде помилку ... і так по черзі, але відповісти на просте, логічне запитання - та ну...
Не знаю, як ви Віталій, а я вже здогадуюся чому роботодавець не звертається до попередніх виконавців 😉
-
Актуальні фриланс-проєкти в категорії Python
Розробка Тік-Ток ферми (контент-завод)
1000 UAH
Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 5 годин 15 хвилин тому ∙ 10 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 11 годин 49 хвилин тому ∙ 21 ставка |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 14 годин 59 хвилин тому ∙ 20 ставок |
Шукаю White-label рішення Букмекерської контори під оренду |
Створення Human AI Assistant для Telegram-групп### 1.1. Ключова концепція системи Система повинна виконувати дві основні функції: #### 1. Аналіз клієнтської комунікації AI-асистент має автоматично аналізувати всю комунікацію в Telegram-групах та розуміти контекст спілкування. Зокрема система повинна: - визначати… AI та машинне навчання, Python ∙ 2 дні 2 години тому ∙ 40 ставок |