Необходимо разработать парсер для сбора товаров с сайта производителя https://come-for.com/ua/, который собирает товары из интернет-магазина и выгружает их в Google Sheets в заданной структуре, чтобы контент-менеджер мог дальше работать с этими данными без ручного копирования товаров с сайта и далее импортировать эти товары в наш Интернет-магазин, сделанный на CMS Хорошоп.
Что нужно парсить:
- Название товара
- Бренд
- Категория на сайте производителя
- Тип товара, если его можно определить
- Ссылка на товар
- Артикул или код товара, если есть на сайте
- Цена
- Валюта
- Наличие, если есть на сайте
- Основное фото товара
- Галерея фото товара
- Описание товара
- Краткое описание, если есть
- Характеристики товара
- Размеры, модификации, варианты, если они есть
- Данные по высоте, жесткости, наполнению, материалам, нагрузке и другим параметрам, если они есть в карточке товара
- SEO-данные, если они есть в коде или на странице
- Дата парсинга
- Статус обработки товара
Выгрузка в Google Sheets:
Данные нужно записывать в Google таблицу по готовой структуре, которую предоставим исполнителю.
В таблице уже есть большое количество колонок для товаров, в частности:
артикул, родительский артикул, название товара, название модификации, бренд, раздел, цена, старая цена, валюта, отображение, наличие, фото, галерея, ссылка, дата добавления, HTML title, META keywords, META description, H1, поставщик, описание товара, краткое описание, описание для маркетплейсов, характеристики, размеры, AI-статус, AI-дата генерации, AI-ошибка и другие поля.
Не все поля обязательно должны заполняться на первом этапе. Основная задача исполнителя - правильно собрать доступные данные с сайта производителя и корректно положить их в соответствующие колонки таблицы.
Важно:
Парсер не должен напрямую добавлять товары на сайт, а должен только собирать данные с сайта производителя и выгружать их в Google Sheets.
Дальнейшее редактирование товаров, адаптация категорий, рерайт описаний, AI-обработка и импорт в Хорошоп будут выполняться отдельно, скорее всего, контент-менеджером.
Логика работы парсера:
- Запуск парсера вручную или через простую команду
- Парсер переходит на указанный сайт
- Собирает список товаров
- Переходит в каждую карточку товара
- Собирает все доступные данные
- Формирует корректную структуру данных
- Записывает результат в Google Sheets
- Не дублирует товары при повторном запуске
- Имеет возможность обновлять существующие товары по ссылке или артикулу
- Должен фиксировать ошибки, если определенный товар не удалось обработать
Желаемая логика обновления:
Необходимо предусмотреть два режима:
- Полный парсинг
Собрать все товары с сайта и записать их в таблицу. - Обновление существующих товаров
При повторном запуске парсер должен проверять, есть ли товар уже в таблице. Если товар есть, нужно обновить только изменяемые поля: цена, наличие, фото, характеристики или другие данные, которые изменились.
Если товар новый, нужно добавить его как новую строку.
Категории:
На сайте производителя категории могут отличаться от категорий нашего сайта. Например, у производителя могут быть категории "топпер", "футон", "тонкий матрац", а на нашем сайте это может быть одна категория "Тонкие матрацы".
На первом этапе нужно выгружать категорию так, как она указана на сайте производителя.
Желательно также добавить отдельную колонку для будущей категории нашего сайта, но ее может заполнять контент-менеджер вручную.
Фото:
Необходимо собрать:
- Главное фото товара
- Все фото галереи
- Ссылки на фото в отдельных колонках или в одном поле через разделитель
- Желательно предусмотреть возможность в будущем загружать фото на Google Drive или другое хранилище, но на первом этапе достаточно ссылок на фото, если они стабильны
Характеристики:
Если на сайте характеристики выведены таблицей или блоками, нужно сохранить их максимально структурировано.
Желательно реализовать один из вариантов:
- Отдельные колонки под ключевые характеристики
- Общая колонка "Характеристики" в формате параметр: значение
- Комбинированный вариант, если это технически целесообразно
Необходимо сохранять характеристики так, чтобы далее их можно было адаптировать под структуру Хорошоп.
Технические требования:
- Парсер должен быть стабильным и пригодным для повторного использования
- Код должен быть понятным и структурированным
- Необходимо передать исходный код после завершения работы
- Необходимо предоставить короткую инструкцию для запуска
- Необходимо описать, какие зависимости нужно установить
- Необходимо предусмотреть логирование ошибок
- Необходимо учитывать возможные ограничения сайта, пагинацию, lazy-load, динамическую загрузку фото или характеристик
- Решение должно корректно работать с Google Sheets API
- Авторизация в Google Sheets должна быть реализована безопасно
- Желательно, чтобы инструмент мог запускаться локально или на сервере
Возможный стек:
Стек можно предложить исполнителю. Если можно через N8N (на нашем сервере он уже есть), то это идеально.
Или подойдет Python, Node.js или другое надежное решение.
Желательные варианты:
Python + requests / BeautifulSoup / Selenium / Playwright + Google Sheets API
или
Node.js + Puppeteer / Playwright + Google Sheets API
Окончательный стек можно согласовать с исполнителем, если он объяснит, почему его вариант лучше для этой задачи.
Что нужно получить в результате:
- Рабочий парсер для сайта (предоставим исполнителю URL). Пока что делаем для одного конкретного сайта.
- Автоматическая выгрузка товаров в Google Sheets
- Корректное заполнение основных колонок таблицы
- Защита от дублирования товаров
- Возможность повторного запуска
- Лог ошибок или отдельный лист в Google Sheets со статусами обработки
- Краткая инструкция для запуска
- Передача исходного кода
- Комментарии в коде или короткое техническое объяснение логики
- Рекомендации исполнителя по масштабированию под другие сайты
Критерии приемки работы:
Работа считается выполненной, если:
- Парсер успешно собирает товары с сайта конкурента, который предоставим исполнителю.
- В таблицу попадают названия, цены, фото, ссылки, категории, описания и характеристики товаров
- Данные записываются в нужные колонки Google Sheets
- При повторном запуске товары не дублируются
- Новые товары добавляются отдельными строками
- Существующие товары могут обновляться
- Есть понятная инструкция, как запустить парсер
- Есть исходный код
- Есть объяснение, что делать, если сайт изменит структуру
- Исполнитель показал тестовый результат на реальных товарах
Важно сразу продумать архитектуру решения не только для одноразового скрипта, а как инструмент, который можно будет адаптировать под другие сайты и масштабировать.
В будущем могут быть нужны такие функции:
- Парсинг других производителей
- Регулярное обновление цен
- Мониторинг новых товаров
- Мониторинг изменения ассортимента
- Сравнение цен
- Автоматический запуск по расписанию
- AI-обработка описаний
- Подготовка файла для импорта в Хорошоп
Требования к исполнителю:
Ищем специалиста, который имеет реальный опыт в:
- Парсинге интернет-магазинов или сайтов производителей
- Работе с Google Sheets API
- Обработке товарных каталогов
- Работе с фото, характеристиками, ценами и модификациями товаров
- Создании стабильных парсеров, которые можно запускать повторно
- Настройке логирования и обработки ошибок
Будет преимуществом, если у вас уже был опыт с товарами для e-commerce, мебелью, матрасами, Хорошоп или подготовкой товарных фидов.
Что нужно написать в отзыве на задачу:
Пожалуйста, в отзыве сразу укажите:
- Какой стек вы предлагаете для реализации
- Имели ли вы опыт парсинга интернет-магазинов
- Работали ли вы с Google Sheets API
- Как вы планируете избегать дублирования товаров
- Как будете обрабатывать фото и галереи
- Как будете фиксировать ошибки
- Сколько времени нужно на первую рабочую версию
- Какая ориентировочная стоимость реализации
- Сможете ли потом адаптировать решение под другие сайты
- Примеры похожих работ, если есть
Структура файла Гугл Таблицы, куда необходимо парсить товар, здесь - https://docs.google.com/spreadsheets/d/1NaEaFHfMIVW_YUg7JOYbm4SuMcIcxd7xIdkaZZ-UHZg/edit?gid=2050477948#gid=2050477948
Сайт производителя Come-For - https://come-for.com/ua/
Сначала нужно сделать тест на нескольких товарах. После проверки структуры и качества данных можно запускать полный парсинг всех товаров.
Ожидаемый результат:
Нужен не просто одноразовый скрипт, а качественный внутренний инструмент для автоматизации сбора товаров с сайта производителя в Google Sheets, который впоследствии можно будет использовать для подготовки товаров к импорту на сайт.