Автоматизация обработки прайс-листов для интеграции с Horoshop

1. Мета проекта

Разработать веб-приложение для комплексной автоматизации работы с прайс-листами поставщиков. Система должна собирать, обрабатывать, нормализовать данные о товарах и синхронизировать их с интернет-магазином на платформе Horoshop.

Основная проблема, которую решает система: данные от поставщиков поступают в разных форматах, с неструктурированными и "грязными" характеристиками. Это создает хаос в фильтрах сайта и требует значительных затрат времени менеджера на ручную обработку.

Ключевая цель — минимизировать ручное вмешательство, автоматизировать сопоставление данных и предоставить менеджеру удобный визуальный интерфейс для контроля и управления исключительными ситуациями.

Если у вас есть собственные разработки, похожие на наше ТЗ, можем рассмотреть другие варианты реализации и возможной доработки под наши задачи. 

2. Основные функциональные модули системы

2.1. Импорт данных от поставщиков

• Поддержка различных источников:

  • API поставщиков (например, ERC, DC-Link, Югконтракт и другие).

  • Файлы в форматах XML,CSV (включая стандарты Google Merchant, Rozetka, Prom),.

  • Прямые ссылки на файлы.

• Гибкая настройка: Возможность добавлять новых поставщиков и настраивать для каждого график автоматического обновления данных.

2.2. Интеграция с Horoshop

• Синхронизация структуры: Система должна загружать из Horoshop существующую структуру категорий, шаблонов и характеристик для корректного сопоставления.

• Обновление товаров: Автоматическая загрузка новых товаров и обновление существующих (цена, наличие, характеристики) через API Horoshop.

• Обработка новых характеристик: Если у поставщика появляется характеристика, которой нет в шаблоне Horoshop, система должна сообщить об этом менеджеру (в интерфейсе, Telegram) для её ручного добавления в Horoshop.

2.3. Обогащение и стандартизация данных через парсер Hotline

• Основная логика: Для стандартизации данных использовать парсер Hotline.ua. Информация о цене и наличии берется от поставщика, а "чистые" и упорядоченные характеристики — из Hotline.

• Механизм работы: Парсер должен работать по артикулу или названию товара.

• Обход блокировок: Необходимо предусмотреть механизм для стабильной работы 

• Обработка исключений: Если товара нет на Hotline, он должен обрабатываться в общем порядке с данными поставщика.

2.4. Сопоставление (маппинг) категорий и характеристик

• Категории: Удобный интерфейс для ручного сопоставления категорий поставщиков с категориями на сайте.

• Характеристики: Автоматическое сопоставление "очищенных" через Hotline характеристик. Для товаров без данных из Hotline — возможность ручного маппинга.

• Идентификация поставщика: Реализовать возможность идентифицировать основного поставщика товара по первой цифре артикула в Horoshop для удобства менеджера.

2.5. Управление ценообразованием и конкурентоспособностью

• Правила ценообразования: Возможность настраивать гибкие правила наценки для разных поставщиков, брендов или категорий.

• Анализ цен: Система должна сравнивать цену закупки с самой низкой ценой на Hotline.

• Интеграция с Google Merchant Center: Возможность настроить автоматическую выгрузку в Google Merchant только тех товаров, которые являются конкурентными по цене (например, цена не превышает минимальную на Hotline + N%).

2.6. Управление дубликатами товаров (не обязательно)

• Механизм обнаружения: Использовать векторизацию данных (название, модель, ключевые характеристики) для поиска одинаковых товаров от разных поставщиков.

• Логика объединения:

  • При высокой схожести (например, >90%) — автоматическое объединение в одну карточку.

  • При средней схожести (например, 70-90%) — товар помечается для ручной проверки менеджером.

• Выбор лучшего предложения: Объединенная карточка товара должна отображать лучшую цену и наличие со всех предложений поставщиков.
  
  

2.7. Обработка языков и перевод контента

• Проблема: Описание и характеристики товаров от поставщиков могут поступать на разных языках (украинский, русский) или содержать смесь языков.

• Решение:

  • Интегрировать систему с сторонними сервисами перевода (например, Google Translate API, DeepL API).

  • Реализовать функционал для автоматического перевода текстовых полей (название, описание) на основной язык сайта (украинский).

  • Менеджер должен иметь возможность просматривать и при необходимости корректировать результаты автоматического перевода перед загрузкой на сайт.

2.8. Интерфейс для менеджера

• Панель управления: Единый веб-интерфейс для мониторинга всех процессов.

• Визуализация: Наглядное отображение товаров, статусов синхронизации, сопоставленных категорий и характеристик.

• Фильтрация и массовые действия: Возможность легко фильтровать товары, требующие внимания (например, без категории, с новыми характеристиками), и выполнять над ними массовые операции.

• Отчеты и оповещения: Подробные логи работы, отчеты об ошибках и успешных обновлениях. Настройка оповещений о критических событиях.

3. Технические требования

• Тип программы: Веб-приложение.

• Хостинг: Система должна быть рассчитана на стабильную работу на стандартном VPS/VDS сервере.

• Масштабируемость: Архитектура должна быть спроектирована так, чтобы в будущем можно было легко подключать новые сайты (клиентов) без полной переработки ядра.

Что мы ожидаем от исполнителя:

1. Оценка стоимости и сроков реализации проекта.

2. Примеры аналогичных реализованных проектов в вашем портфолио.

3. Ваши предложения по технологическому стеку для реализации задачи.