Упрощенная служба скрапинга на основе API

Здравствуйте,

Я ищу **оптимизированный сервис для скрапинга на основе API** для sahibinden.com — специально адаптированный под отфильтрованный URL, который я предоставлю. Этот сервис должен быть эффективным, устойчивым к защитам Cloudflare и возвращать чистые JSON-ответы.

**Объем работы:**

- Использовать предоставленный отфильтрованный URL (например, недвижимость или транспортные средства) в качестве конечной точки ввода.

- Скрапить оба:

   • **Страница объявления**: заголовок, URL, краткое описание.

   • **Страница деталей**: информация о пользователе, цена, дата объявления, URL изображений и категория (например, "недвижимость", "транспортное средство" или "другое").

- Возвращать хорошо структурированный **JSON-вывод**.

**Ключевые технические требования:**

- Выставлен как **HTTP API сервис** — клиент делает HTTP-запрос с URL и получает JSON в ответ.

- Должен быть устойчивым к мерам защиты Cloudflare от ботов, в частности, корректно обрабатывать ошибки 429 Слишком много запросов.

- **Опциональная поддержка прокси** (сервис может использовать или не использовать прокси в зависимости от конфигурации).

- Должен включать стратегию обхода или смягчения капчи (например, API для решения CAPTCHA или мягкое управление ошибками).

- Надежное управление сессиями (куки, заголовки и т.д.), ограничение частоты, экспоненциальное увеличение времени ожидания, логика повторных попыток и ведение журналов.

**Результаты:**

1. **MVP Доказательство концепции**: Рабочий пример для предоставленного URL (код + краткое демонстрационное видео).

2. **Сервис, готовый к производству**: Docker-приложение, README, описывающее использование API, формат запросов/ответов, параметры и примеры.

3. **Поддержка**: Гарантия незначительных обновлений (например, изменения структуры HTML) в течение первых 30 дней после доставки.

**Сроки:** Пожалуйста, предложите свои сроки (например, 1 неделя для MVP, еще неделя для финализации).

**Желаемые навыки и опыт:**

- Веб-скрапинг и автоматизация с использованием **Playwright** или **Puppeteer**.

- Практический опыт с **обходом Cloudflare и стратегиями против ботов**.

- Конфигурация прокси и логика обхода.

- Опционально: методы решения CAPTCHA.

- Разработка API-сервисов с четкой документацией.

**Как подать заявку:**

- Поделитесь предыдущими примерами PoC или проектов (желательно с JSON-выводами).

- Предоставьте краткое техническое объяснение вашего подхода.

- Включите пример использования API и возвращаемую структуру JSON.

С нетерпением жду возможности поработать с вдумчивым, ориентированным на детали разработчиком!