Парсинг сайта и обработка большой БД в текстовом виде

Нужен специалист для сбора и структурирования открытой информации о продавцах с маркетплейсов. Необходимо определить возможность автоматизированного сбора данных и сформировать базу продавцов. В отзыве, пожалуйста, укажите: с какими маркетплейсами имеете опыт работы; какие данные можете получить (название продавца, ссылка, категории, рейтинг, количество товаров, другие доступные поля); примеры подобных проектов.

Техническое задание Проект Настройка наполнения и синхронизации двух магазинов Prom.ua с поставщиками автозапчастей. Задача Необходимо реализовать загрузку и обновление товаров от поставщиков автозапчастей для двух интернет-магазинов на Prom.ua. ⸻ 1. Подключение поставщиков Необходимо подключить поставщиков через: API поставщика; XML, CSV, XLS прайс-листы; или другой доступный способ получения товаров с сайта поставщика. Важно обеспечить полную синхронизацию товаров между поставщиком и магазинами Prom.ua. ⸻ 2. Фильтрация и отбор товаров Необходимо реализовать возможность отбора товаров во время импорта по следующим параметрам: марка автомобиля; категория запчастей; подкатегория запчастей; другие доступные характеристики. Пример: Для каждого магазина должна быть возможность отдельно определять, какие категории товаров и какие марки автомобилей необходимо загружать. Дополнительные требования к отбору товаров Необходимо реализовать возможность отбора товаров во время импорта не только по маркам автомобилей и категориям запчастей, а также по статусу наличия товара. Должна быть возможность настроить такие сценарии: импортировать только товары, которые есть в наличии у поставщика; не импортировать товары со статусом "нет в наличии"; отключать или удалять товары с Prom.ua после исчезновения их из наличия у поставщика; Во время настройки прайсинга должна быть возможность комбинировать фильтры: по марке автомобиля; по категории запчастей; по подкатегории; по наличию товара. Пример: Импортировать только запчасти для Volkswagen и Audi, категория "Тормозная система", которые есть в наличии у поставщика. Также необходимо реализовать механизм предотвращения дублирования товаров от разных поставщиков. Если один и тот же товар присутствует у нескольких поставщиков, в каталог должен импортироваться только один запись товара. Критерии выбора товара при обнаружении дубликатов: приоритет отдается товару, который есть в наличии у поставщика; если товар есть в наличии у нескольких поставщиков, приоритет отдается товару с наименьшей ценой; если самый дешевый товар отсутствует в наличии, система должна выбрать самый дешевый товар среди тех, что есть в наличии; товары-дубликаты от других поставщиков не должны создавать отдельные позиции в каталоге. Пример: Импортировать только запчасти для Volkswagen и Audi, категория "Тормозная система", которые есть в наличии у поставщика. Если одна и та же запчасть доступна у нескольких поставщиков, в каталог импортируется только одна позиция — от поставщика с наименьшей ценой среди тех, у кого товар есть в наличии. ⸻ 3. Импорт карточек товаров Во время импорта должны автоматически загружаться: название товара; артикул; фотографии; описание товара; цена; характеристики товара; производитель; другие доступные параметры. ⸻ 4. обновление Необходимо настроить автоматическое: обновление цен при изменении от поставщика ⸻ 5. Удаление отсутствующих товаров Товары, которых больше нет в наличии у поставщика, должны: отключаться; или удаляться с Prom.ua (по согласованию). ⸻ 6. Наполнение магазинов Необходимо: создать структуру категорий; создать подкатегории; правильно распределить товары по категориям; проверить корректность импорта товаров. ⸻ 7. Результат работы После завершения работ должно быть: подключены поставщики; настроен импорт товаров; настроено обновление цен; настроено добавление новых товаров; настроено отключение или удаление отсутствующих товаров; магазины Prom.ua полностью наполнены и готовы к работе.

Необходимо создать Telegram-бота для автоматического поиска и мониторинга автомобилей "BUY IT NOW" на аукционах США (Copart, IAAI). Бот должен работать в автоматическом режиме и отправлять сообщения о новых автомобилях, которые соответствуют заданным фильтрам.Основной функционалНастройка фильтров: 1. Марка автомобиля; 2. Модель; 3. Год выпуска (от/до); 4. Тип топлива; 5. Объем двигателя; 6. Пробег; 7. Диапазон цены; Функции бота: 1. Автоматический мониторинг новых лотов; 2. Проверка обновлений каждые 1-2 минуты; 3. Защита от повторных уведомлений (антидубль); 4. Возможность добавлять и удалять фильтры через меню бота; 5. Сохранение настроек уже существующего поиска автомобилей. Формат сообщения: 1. Фото автомобиля (4-фото); 2. Название и номер лота; 3. Год выпуска; 4. Пробег; 5. Тип двигателя и объем; 6. Цена buy it now; 7. Ссылка на лот.

Спарсить полный каталог этих сайтов: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Все товары нужно объединить в одну обющую таблицу для импорта в WP. Каждый товар должен быть на двух языках (UA+RU). Также есть вариативные товары, это должно быть сохранено как вариации в базовом функционале WP Импорт на сайт возможен через плагины, так и кастомное решение, поэтому формат таблицы может обсуждаться