Парсер Autoria

Описание проекта:
Разработал масштабируемый парсер объявлений с Auto.ria (автомобильный маркетплейс) для сбора детальных данных об автомобилях: марка/модель, год, пробег, цена, комплектация, ссылка на фото, контактные данные продавца и другие метаданные. Парсер спроектирован с учетом реальных ограничений платформ: используется ротация прокси, изменение User-Agent, контроль параллелизма и защита от антибот-механик — все это позволяет стабильно собирать большие объемы данных при минимальном риске блокировок.

Функциональность:

Массовый сбор объявлений (по категориям, фильтрам, диапазону цен, регионам).

Сбор полного набора полей: заголовок, описание, характеристики, цена, местоположение, фото/галерея, контактные данные, дата публикации.

Поддержка пагинации, динамической загрузки и AJAX-частей страниц.

Ротация прокси (residential / datacenter), балансировка по IP и географии.

Динамическое изменение User-Agent и других HTTP-заголовков.

Семафоры и throttling — контроль параллелизма, чтобы не перегружать платформу.

Обработка капчи (интеграция с сервисами решения при необходимости) и уважительные backoff-стратегии при ошибках.

Дедупликация записей (по уникальному ID или URL), инкрементальные обновления и (опционально) отслеживание изменений в объявлениях.

Сохранение в удобные форматы: PostgreSQL/SQLite, CSV, Excel; экспорт для аналитики.

Логирование, метрики и мониторинг (количество собранных объявлений, ошибки, health-check).