Парсер товарів для імпорту на Prom

Опис проєкту:
Розробив масштабований парсер товарних сторінок, який збирає дані про товари з різних e-commerce сайтів і готує їх у вигляді, зручному для імпорту на маркетплейс Prom (або інші платформи).
Парсер автоматично витягує назву товару, опис, характеристики, категорію, ціни, залишки на складі, артикул (SKU), штрих-код (GTIN/EAN), варіанти (розміри/кольори), а також посилання на медіафайли — і формує валідні експорти (CSV/Excel/XML + архів з зображеннями) для швидкого завантаження на Prom.

Система спроєктована для масових прогона́в: підтримка багатьох джерел, надійність при довготривалих зборах, механізми обходу антибот-захисту та зручні інструменти для мапінгу полів під вимоги маркетплейсу.

Функціональність:

Автоматичний збір товарів по категоріям, пошукових запитах і списках URL.

Збір повного набору полів: назва, опис, бренд, категорія, характеристики (атрибути), ціни (ретейл/опт), наявність/запаси, артикул (SKU), GTIN/EAN, посилання на зображення та галереї.

Збір варіантів товару (розміри, кольори) та формування окремих позицій або комбінацій для імпорту.

Завантаження та кешування зображень; формування ZIP-архіву із підготовленими картинками.

Мапінг полів під формат імпорту Prom (CSV/XML) з можливістю настроюваних шаблонів і правил трансформації.

Валідація експортного фіда: перевірка обов’язкових полів, коректність цін і наявності, звіти про помилки.

Ротація проксі, зміна User-Agent, таймінги та семафори для мінімізації ризику блокувань.

Обробка динамічних сторінок через Playwright/Selenium для сайтів з JS-рендерингом.

Дедуплікація по артикулу/URL і інкрементальні оновлення для уникнення дублювання товарів.

Планувальник/черга для регулярного оновлення прайсів та залишків (cron / Celery).

Логи, метрики та детальні звіти по прогону (кількість опрацьованих товарів, помилки, пропуски).