ТЗ: парсер продавцов/товаров с фильтрами и мультизапуском
2000 UAHНужен специалист по web-scraping и антибот-защитам.
Сайт активно блокирует прокси и скраперы (постоянная CAPTCHA / редирект на антибот-страницы).
Нужно реализовать стабильный многопоточный парсинг с обходом DataDome / Cloudflare, чтобы сайт не возвращал ошибки (403 / 429 / captcha-loop).
Основные требования
1) Многопоточность / асинхронность
стабильная работа 40+ параллельных потоков (обсуждаемо)
контроль частоты запросов, очереди, backoff
без деградации производительности
2) Прокси
поддержка HTTP / SOCKS
автоматическая ротация при капче, бане, ошибках
возможность отдельного прокси на каждый поток
учёт репутации IP
3) Обход антибота
эмуляция реального браузера (Playwright / Selenium headless или аналог)
реалистичные заголовки, user-agent, cookies, задержки
получение и поддержание валидной сессии
автоматическое решение CAPTCHA (2Captcha / CapSolver или аналог)
4) Устойчивость
обработка блокировок и редиректов
авто-восстановление сессий
логирование ошибок и причин блоков
Технологии
Язык: Python (предпочтительно)
Результат
рабочий код / модуль
инструкция запуска и рекомендации по лимитам / прокси
подтверждение стабильной работы под защитой
детальней в личные сообщения
-
хоть бы сайт указали...
-
Скажіть сайт, тоді поговоримо
-
Напишіть посилання на сайт
-
Актуальные фриланс-проекты в категории Парсинг данных
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 3 часа 27 минут назад ∙ 3 ставки |
Нужен специалист для поиска контактов ЛПР по УкраинеНеобходимо собрать базу (или готовую базу) контактов лиц, принимающих решения (ЛПР), в компаниях Украины. Поиск и сбор информации, Парсинг данных ∙ 7 часов 59 минут назад ∙ 8 ставок |
Необходимо спарсить данные из Linkedin
Необходимо спарсить данные с Linkedin по нашему списку. Для каждой записи нужно найти и собрать доступные данные, если такие есть на Linkedin профиле, включая фотографию профиля в соцсети Linkedin, email-адрес, ссылки на социальные сети, вебсайт компании, номер телефона. Все… Парсинг данных ∙ 13 часов 47 минут назад ∙ 19 ставок |
Парсинг и классификация данных
Ищем разработчика для реализации системы сбора и структурирования данных из открытых источников. У нас есть база владельцев малого бизнеса в США, которая содержит имя человека, название компании, адрес и штат. Необходимо построить процесс обогащения этих записей дополнительной… Веб-программирование, Парсинг данных ∙ 14 часов 55 минут назад ∙ 33 ставки |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 1 день 17 часов назад ∙ 32 ставки |
Харьков