Парсер Autoria

Опис проєкту:
Розробив масштабований парсер оголошень з Auto.ria (автомобільний маркетплейс) для збору детальних даних про авто: марка/модель, рік, пробіг, ціна, комплектація, посилання на фото, контактні дані продавця та інші метадані. Парсер спроєктовано з урахуванням реальних обмежень платформ: використовується ротація проксі, зміна User-Agent, контролювання паралелізму і захист від антибот-механік — все це дозволяє стабільно збирати великі об’єми даних при мінімальному ризику блокувань.

Функціональність:

Масовий збір оголошень (по категоріям, фільтрам, діапазону цін, регіонах).

Збирання повного набору полів: заголовок, опис, характеристики, ціна, місцезнаходження, фото/галерея, контактні дані, дата публікації.

Підтримка пагінації, динамічного завантаження та AJAX-частин сторінок.

Ротація проксі (residential / datacenter), балансування по IP і географії.

Динамічна зміна User-Agent та інших HTTP-заголовків.

Семафори та throttling — контроль паралелізму, щоб не перевантажувати платформу.

Обробка капчі (інтеграція з сервісами розв’язування при необхідності) та поважні backoff-стратегії при помилках.

Дедуплікація записів (по унікальному ID або URL), інкрементальні оновлення і (опціонально) відстеження змін у оголошеннях.

Збереження у зручні формати: PostgreSQL/SQLite, CSV, Excel; експорт для аналітики.

Логування, метрики та моніторинг (кількість зібраних оголошень, помилки, health-check).