Нужен специалист по скрапингу OLX.pl (номера телефонов)
Здравствуйте,
Мы ищем опытного специалиста по веб-скрапингу для сбора номеров телефонов из объявлений на olx.pl.
У нас уже есть база данных объявлений. Ваша задача будет заключаться в том, чтобы:
получить объявления из нашего API,
собрать номера телефонов из предложений OLX,
отправить собранные номера телефонов обратно в нашу систему через наш API-эндпоинт.
Объем работы:
Собрать 4,000 номеров телефонов в день
Непрерывная работа в течение 4 последовательных дней
Минимальный общий результат: 4,000 номеров телефонов в течение любого 24-часового периода
Проект будет считаться завершенным после 4 дней успешного тестирования
Технические требования:
Способность обходить обнаружение ботов (403, анти-бот механизмы и т.д.)
Стабильное, непрерывное выполнение скрапера в течение 4 дней
Скрапер должен работать на нашем VPS:
Linux (безголовый) или
Windows (с графическим интерфейсом через RDP)
Механизм повторной попытки для объявлений без видимых номеров телефонов:
До 3 попыток повторной попытки
Если все еще недоступно, пометить как NOPHONE
Правильное ведение логов и обработка ошибок
Мы предоставляем:
Резидентский IP-адрес
До 20 аккаунтов OLX (сессии могут быть созданы при необходимости)
Доступ к API для ввода (предложения) и вывода (номера телефонов)
Критерии успеха:
Достижение как минимум 4,000 действительных номеров телефонов в течение 24 часов
Стабильная работа в течение 4-дневного тестового периода
Пожалуйста, подавайте заявку только если у вас есть подтвержденный опыт работы с крупномасштабным скрапингом, обходом защиты от ботов и длительными скраперами.
-
Победившая ставка8 дней18 123 UAH
1017 2 1 Победившая ставка8 дней18 123 UAHПривет, Кшиштоф,
Я подаю заявку на официальное выполнение проекта скрейпера OLX.pl. Основываясь на нашем предыдущем обсуждении и технических требованиях, вот мое предложение:
План реализации:
Этап 1 (Прототип): Я начну с настройки 2-3 аккаунтов с решателем капчи Amazon (Задача AWS WAF), чтобы обойти начальные сложности. Я обработаю первые 500 номеров, чтобы проверить стабильность.
Этап 2 (Масштабирование): После успешного завершения прототипа я масштабирую до всех 10-20 аккаунтов и реализую полный 96-часовой непрерывный запуск, чтобы достичь цели в 4,000 номеров в день.
…
Архитектура: Скрейпер будет использовать постоянство сессии, чтобы минимизировать затраты на CAPTCHA и защитить вашу репутацию прокси.
Условия:
Бюджет: 1,800 PLN. Это покрывает высокую сложность обхода AWS WAF, управление сессиями нескольких аккаунтов и необходимый 4-дневный период мониторинга.
Сроки: 8 дней (включает разработку, настройку аккаунтов и обязательный 4-дневный тест на стабильность).
-
Для успішної реалізації цього проекту, у вас мають бути вже відтестовані "ліміти" олх по акаунтах.. І саме головне, ці акаунти мають бути вже "прогріті". Ну а далі справа за проксі, найкраще мобільні.. і тільки після цього, вже код програміста. Тобто для успішного тесту 4000 номерів, тут треба спочатку від вас якісні дані . У вас є такі?
-
yes sir
-
Який бюджет по виконанню задачі?
Це задача не стільки на парсинг, скільки на обхід захисту (Anti-Bot Bypass), тому цікавить який ваш бюджет на цю задачу. -
Warszawa