Парсер Python3
Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de используя АПИ, написанные на Python3 и работающие в докере под Убунту.
Проблема есть с сайтом rebuy.de - раз в неделю сайт запускает анализ всех запросов и видит, что была загружена только информация с api, без загрузок html,css,js, картинок и всю подсеть прокси банит целиком.
Пробовали разные прокси, даже вращающиеся с пулами IP 5 миллионов - все равно банят.
Как вариант решения вышеописанной проблемы, может быть уйти от АПИ(так как используя АПИ скрыть что-то нереально) и использовать headless браузеры для парсинга.
Или любую другую технологию/метод - открыт к обсуждению и предложениям!
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц.
Сейчас используются статичные прокси(10 потоков), парсит медленно, но не банит. Когда ставлю выше 10 потоков - банит все сразу с конце недели.
-
3 дня2500 UAH
786 27 2 2 3 дня2500 UAH
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
-
3 дня1000 UAH
115 34 4 2 3 дня1000 UAH
Здравствуйте.
Имею большой опыт работы с selenium.
Пишите - обсудим детали
-
500 товаров в минуту через браузер нереально как по мне (делал один парсер тоже через headless браузер, в среднем секунда-две на страницу), если только организовывать многопоток с разных ip.
Сколько запросов идет с одного ip у вас?
-
Я не настаиваю на браузере, думал об этом, как вариант.
Сейчас с 50 IP парсинг в 100 потоков дает желаемую скорость, но работает это только неделю(4-7 дней), потом сайт банит все IP.
-
50 постоянно работающих ip целую неделю? Я бы такого не советовал делать)
Сделайте лучше пул из ip побольше, разделите его на 3 и дергайте их на запросы рандомно в разное время суток, чтобы сайт не увидел странного поведения. Я еще добавлял рандомный интервал между запросами с одного ip. И все это через асинхронные запросы, пока одни ip спят, другие работают и тд. Никакого многопотока не требовалось -
Пробовали работать с вращающимися прокси - сайт банит целую подсеть, и так 5 миоллионов IP в пуле не проработали даже 2х недель.
Мысль с отдыхает/работает интересная, только вот нужно будет очень много таких IP для достижения скорости в 500 товаров/минута, не выйдет ли это за мой бюджет?
-
Актуальные фриланс-проекты в категории Python
Разработка программного обеспечения с ИИ
Необходимо разработать программное обеспечение для автоматического обнаружения, захвата и сопровождения объекта с помощью видеокамеры и поворотного механизма.Исходные данные: Видеокамера с оптикой. Поворотное устройство по двум осям (азимут/угол места). Сервоприводы с… AI и машинное обучение, Python ∙ 6 часов 36 минут назад ∙ 9 ставок |
ТЗ НА ДОПРАЦЮВАНИЕ AI-БОТА ГЕНЕРАЦИИ ЛИЧНЫХ ПЕСЕНТЗ НА ДОПРАЦЮВАННЯ AI-БОТА ГЕНЕРАЦІЇ ПЕРСОНАЛЬНИХ ПІСЕНЬГОЛОВНА ЦІЛЬ Створити стабільний преміальний продукт, який: генерує максимально якісні персональні пісні; не вигадує факти про клієнта; працює стабільно під навантаженням; легко масштабується; дозволяє аналізувати та… Python, Разработка ботов ∙ 7 часов 41 минута назад ∙ 22 ставки |
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 10 часов 40 минут назад ∙ 28 ставок |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 11 часов 41 минута назад ∙ 36 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 1 день назад ∙ 74 ставки |
Харьков