Парсер товарів для імпорту на Prom
Опис проєкту:
Розробив масштабований парсер товарних сторінок, який збирає дані про товари з різних e-commerce сайтів і готує їх у вигляді, зручному для імпорту на маркетплейс Prom (або інші платформи).
Парсер автоматично витягує назву товару, опис, характеристики, категорію, ціни, залишки на складі, артикул (SKU), штрих-код (GTIN/EAN), варіанти (розміри/кольори), а також посилання на медіафайли — і формує валідні експорти (CSV/Excel/XML + архів з зображеннями) для швидкого завантаження на Prom.
Система спроєктована для масових прогона́в: підтримка багатьох джерел, надійність при довготривалих зборах, механізми обходу антибот-захисту та зручні інструменти для мапінгу полів під вимоги маркетплейсу.
Функціональність:
Автоматичний збір товарів по категоріям, пошукових запитах і списках URL.
Збір повного набору полів: назва, опис, бренд, категорія, характеристики (атрибути), ціни (ретейл/опт), наявність/запаси, артикул (SKU), GTIN/EAN, посилання на зображення та галереї.
Збір варіантів товару (розміри, кольори) та формування окремих позицій або комбінацій для імпорту.
Завантаження та кешування зображень; формування ZIP-архіву із підготовленими картинками.
Мапінг полів під формат імпорту Prom (CSV/XML) з можливістю настроюваних шаблонів і правил трансформації.
Валідація експортного фіда: перевірка обов’язкових полів, коректність цін і наявності, звіти про помилки.
Ротація проксі, зміна User-Agent, таймінги та семафори для мінімізації ризику блокувань.
Обробка динамічних сторінок через Playwright/Selenium для сайтів з JS-рендерингом.
Дедуплікація по артикулу/URL і інкрементальні оновлення для уникнення дублювання товарів.
Планувальник/черга для регулярного оновлення прайсів та залишків (cron / Celery).
Логи, метрики та детальні звіти по прогону (кількість опрацьованих товарів, помилки, пропуски).
Розробив масштабований парсер товарних сторінок, який збирає дані про товари з різних e-commerce сайтів і готує їх у вигляді, зручному для імпорту на маркетплейс Prom (або інші платформи).
Парсер автоматично витягує назву товару, опис, характеристики, категорію, ціни, залишки на складі, артикул (SKU), штрих-код (GTIN/EAN), варіанти (розміри/кольори), а також посилання на медіафайли — і формує валідні експорти (CSV/Excel/XML + архів з зображеннями) для швидкого завантаження на Prom.
Система спроєктована для масових прогона́в: підтримка багатьох джерел, надійність при довготривалих зборах, механізми обходу антибот-захисту та зручні інструменти для мапінгу полів під вимоги маркетплейсу.
Функціональність:
Автоматичний збір товарів по категоріям, пошукових запитах і списках URL.
Збір повного набору полів: назва, опис, бренд, категорія, характеристики (атрибути), ціни (ретейл/опт), наявність/запаси, артикул (SKU), GTIN/EAN, посилання на зображення та галереї.
Збір варіантів товару (розміри, кольори) та формування окремих позицій або комбінацій для імпорту.
Завантаження та кешування зображень; формування ZIP-архіву із підготовленими картинками.
Мапінг полів під формат імпорту Prom (CSV/XML) з можливістю настроюваних шаблонів і правил трансформації.
Валідація експортного фіда: перевірка обов’язкових полів, коректність цін і наявності, звіти про помилки.
Ротація проксі, зміна User-Agent, таймінги та семафори для мінімізації ризику блокувань.
Обробка динамічних сторінок через Playwright/Selenium для сайтів з JS-рендерингом.
Дедуплікація по артикулу/URL і інкрементальні оновлення для уникнення дублювання товарів.
Планувальник/черга для регулярного оновлення прайсів та залишків (cron / Celery).
Логи, метрики та детальні звіти по прогону (кількість опрацьованих товарів, помилки, пропуски).