Парсинг данных, компиляция картинок

Нужно спарсить 3000 сайтов с целью обнаружения определенного плагина, который чаще всего стоит на домашней странице любого сайта. Сроки - до 18 00 по Киеву. Список сайтов вышлю.

Сбор ссылок на источники с объявлениями аренды жилья Нужно собрать базу ссылок на группы, каналы, форумы и площадки, где публикуются объявления об аренде жилья в крупных городах Европы и США. Цель: найти источники, где регулярно появляются объявления о краткосрочной, среднесрочной и долгосрочной аренде, субаренде, комнатах, студиях, квартирах и lease takeover. Города: Начать с: Paris, Geneva, Zurich, Berlin, Amsterdam, Barcelona, Madrid, Milan, London, New York, Los Angeles, San Francisco, Boston, Chicago, Miami. Можно добавлять другие крупные города, если есть хорошие источники. Какие источники искать: Facebook groups/pages Telegram public channels Reddit communities / search links Craigslist links, especially for US cities Local forums and classified websites University/student housing boards Expat communities Instagram pages of agencies, coliving, student housing, rental communities X/Twitter search links Other public pages where people post rental offers Что нужно внести в таблицу: City Country Platform: Facebook / Telegram / Reddit / Craigslist / Forum / Website / Instagram / Other Source name URL Type of rentals: room / apartment / sublet / short-term / long-term / student housing / expat housing Language Is it public? Yes/No Estimated activity: high / medium / low Notes Важно: Не собирать личные данные людей. Не копировать сами объявления. Нужны только публичные ссылки на источники. Проверять, что ссылка открывается. Не добавлять дубликаты. Приоритет — активные источники, где есть свежие посты за последние 30 дней. Ожидаемый результат: Google Sheet / Excel-файл минимум с 300–500 релевантными ссылками. Для каждого города желательно найти минимум 20–40 хороших источников.

Магазин на OcStore 2.3. установлен модуль "Автоматическая обработка прайс-листов. v.9.5". Все настроено автором модуля, но сейчас есть моменты по настройкам, которые не могу разобраться и допетрать логику работы модуля. Например, проблема с двумя языками в карточке товара, тянет постоянно, то одну, то другую во все вкладки. Что нужно: 1) помочь настроить как надо; 2) объяснить пошагово что и как настраивать, чтобы мог самостоятельно добавлять прайсы и настраивать крон к ним.

Техническое задание Проект Настройка наполнения и синхронизации двух магазинов Prom.ua с поставщиками автозапчастей. Задача Необходимо реализовать загрузку и обновление товаров от поставщиков автозапчастей для двух интернет-магазинов на Prom.ua. ⸻ 1. Подключение поставщиков Необходимо подключить поставщиков через: API поставщика; XML, CSV, XLS прайс-листы; или другой доступный способ получения товаров с сайта поставщика. Важно обеспечить полную синхронизацию товаров между поставщиком и магазинами Prom.ua. ⸻ 2. Фильтрация и отбор товаров Необходимо реализовать возможность отбора товаров во время импорта по следующим параметрам: марка автомобиля; категория запчастей; подкатегория запчастей; другие доступные характеристики. Пример: Для каждого магазина должна быть возможность отдельно определять, какие категории товаров и какие марки автомобилей необходимо загружать. Дополнительные требования к отбору товаров Необходимо реализовать возможность отбора товаров во время импорта не только по маркам автомобилей и категориям запчастей, а также по статусу наличия товара. Должна быть возможность настроить такие сценарии: импортировать только товары, которые есть в наличии у поставщика; не импортировать товары со статусом "нет в наличии"; отключать или удалять товары с Prom.ua после исчезновения их из наличия у поставщика; Во время настройки прайсинга должна быть возможность комбинировать фильтры: по марке автомобиля; по категории запчастей; по подкатегории; по наличию товара. Пример: Импортировать только запчасти для Volkswagen и Audi, категория "Тормозная система", которые есть в наличии у поставщика. Также необходимо реализовать механизм предотвращения дублирования товаров от разных поставщиков. Если один и тот же товар присутствует у нескольких поставщиков, в каталог должен импортироваться только один запись товара. Критерии выбора товара при обнаружении дубликатов: приоритет отдается товару, который есть в наличии у поставщика; если товар есть в наличии у нескольких поставщиков, приоритет отдается товару с наименьшей ценой; если самый дешевый товар отсутствует в наличии, система должна выбрать самый дешевый товар среди тех, что есть в наличии; товары-дубликаты от других поставщиков не должны создавать отдельные позиции в каталоге. Пример: Импортировать только запчасти для Volkswagen и Audi, категория "Тормозная система", которые есть в наличии у поставщика. Если одна и та же запчасть доступна у нескольких поставщиков, в каталог импортируется только одна позиция — от поставщика с наименьшей ценой среди тех, у кого товар есть в наличии. ⸻ 3. Импорт карточек товаров Во время импорта должны автоматически загружаться: название товара; артикул; фотографии; описание товара; цена; характеристики товара; производитель; другие доступные параметры. ⸻ 4. обновление Необходимо настроить автоматическое: обновление цен при изменении от поставщика ⸻ 5. Удаление отсутствующих товаров Товары, которых больше нет в наличии у поставщика, должны: отключаться; или удаляться с Prom.ua (по согласованию). ⸻ 6. Наполнение магазинов Необходимо: создать структуру категорий; создать подкатегории; правильно распределить товары по категориям; проверить корректность импорта товаров. ⸻ 7. Результат работы После завершения работ должно быть: подключены поставщики; настроен импорт товаров; настроено обновление цен; настроено добавление новых товаров; настроено отключение или удаление отсутствующих товаров; магазины Prom.ua полностью наполнены и готовы к работе.

Необходимо создать Telegram-бота для автоматического поиска и мониторинга автомобилей "BUY IT NOW" на аукционах США (Copart, IAAI). Бот должен работать в автоматическом режиме и отправлять сообщения о новых автомобилях, которые соответствуют заданным фильтрам.Основной функционалНастройка фильтров: 1. Марка автомобиля; 2. Модель; 3. Год выпуска (от/до); 4. Тип топлива; 5. Объем двигателя; 6. Пробег; 7. Диапазон цены; Функции бота: 1. Автоматический мониторинг новых лотов; 2. Проверка обновлений каждые 1-2 минуты; 3. Защита от повторных уведомлений (антидубль); 4. Возможность добавлять и удалять фильтры через меню бота; 5. Сохранение настроек уже существующего поиска автомобилей. Формат сообщения: 1. Фото автомобиля (4-фото); 2. Название и номер лота; 3. Год выпуска; 4. Пробег; 5. Тип двигателя и объем; 6. Цена buy it now; 7. Ссылка на лот.