Автоматизированный Парсер Товаров для Shopify с AliExpress

Описание проекта:
Разработан универсальный парсер для сбора данных о товарах с AliExpress с целью их дальнейшего импорта в Shopify. Проект поддерживает несколько режимов работы, что позволяет обрабатывать как отдельные товары, так и групповые запросы, что значительно упрощает процесс формирования каталога для онлайн-магазина.

Основные функциональные возможности:

Парсинг одного продукта:

Принимается ссылка на отдельный товар.
Результат сохраняется в формате, определенном в шаблоне.

Парсинг поискового запроса:

Пользователь задает лимит количества товаров для парсинга.
С поисковой страницы формируется список товаров по заданному формату, но с несколькими записями.
Парсинг списка ссылок:

Принимается CSV-файл со списком ссылок на товары, разделенных запятыми.
Для каждой ссылки осуществляется парсинг, и результаты формируются в том же формате, что и для одного продукта, но выводятся как набор данных.

Форматы выходных файлов:

Для каждого режима парсинга генерируются три типа файлов:
CSV – базовый отчет с данными товаров.
JSON – альтернативный формат для удобства работы с данными.
Shopify CSV – заполненный файл для загрузки в Shopify, который соответствует официальным требованиям.

Загрузка фотографий:

Для каждого товара фото загружаются на хостинг.
Автоматически создается отдельная папка для каждого товара, название которой генерируется как уникальный ID.
В пределах папки создаются подпапки для разделения основных фото и фото с отзывов.
Ограничение – до 250 фото на товар, при этом используются лишь основные фотографии (фото с отзывов также загружаются, но размещаются отдельно).
Другие важные требования:


Интерфейс проекта ориентирован на пользователей.
Файлы содержат инструкции по соответствию полей из парсингового файла для корректного переноса данных в файл.

Парсинг и обработка данных:
Реализовано с помощью Python с использованием библиотек для работы с HTTP-запросами и HTML-парсинга.

Генерация отчетов: Автоматическое создание файлов в форматах CSV и JSON для удобного дальнейшего анализа и загрузки данных.
Интеграция с Shopify: Формирование файла для загрузки товаров в Shopify согласно официальному шаблону, который обеспечивает базовую структуру для дальнейших ручных изменений.
Автоматизация загрузки фото: Фото из описания товара автоматически загружаются на хостинг и организованы по отдельным папкам, что облегчает управление изображениями.

Реализация этого проекта позволяет автоматизировать процесс сбора данных о товарах с AliExpress и их дальнейший импорт в Shopify. Благодаря гибкости режимов парсинга (один товар, поисковый запрос, список ссылок) и поддержке сохранения данных в нескольких форматах, система значительно упрощает создание и наполнение каталога товаров. Проект демонстрирует способность интегрировать различные технологии для создания эффективных инструментов автоматизации, что особенно актуально для современного e-commerce.