Парсинг сайту conrad.pl в xml за розкладом

Сервер використовую https://hyperhost.ua/ для цього проекту орендую окремий, налаштування ваше потрібне.

Це невелика торгова площадка, там більше 1 млн. товарів.  З фільтрами підгруп буде виходити до 200 тис 

• 1. Категорій головних всього 12, значить посилань для парсингу буде 12
  
  
  Ось для прикладу перша група посилання
  https://www.conrad.pl/pl/search.html?categoryId=t01&tfr_price=0.112~~~141218.7&tfo_flags=priceReducedProduct&tfo_availabilityColor=green
  В посиланні вже вказані потрібні мені фільтри Ціна, Нові продукти та акції, Доступність
  
  
  Але потрібно парсити не всі підгрупи, а тільки обрані
  
  
  2. Фото потрібно тільки посилання на них з сайту
  
  3. Опис з html розміткою
  
  Всі дані, які треба парсити
  
  
  4. Парсити бажано 1 раз на день або хоча б через 2 дні, тут, напевно, було б добре зробити так 
  якщо товар раніше був спарсений, то просто оновити ціну, знижку, кількість 
  а якщо товар новий, то парсимо всі дані. 
  
  

• Видає в результаті тільки 2000 товарів, а багато підгруп мають набагато більше товарів, тому тут треба якось обійти ці обмеження або, напевно, треба провалюватися глибше в групу рівня 3 або 4, щоб, можливо, ви зможете обійти це

• САЙТ ПІД ЗАХИСТОМ ClodFlare 

Сервер использую https://hyperhost.ua/ для этого проекта арендую отдельный, настройка ваша нужна.

Это небольшая торговая площадка там более 1 мил. товаров.  С фильтрами подгруп будет выходить до 200 тыс 

• 1. Категорий главных всего 12, значит ссылок для парсинга будет 12
  
  
  Вот для примера первая группа ссылка
  https://www.conrad.pl/pl/search.html?categoryId=t01&tfr_price=0.112~~~141218.7&tfo_flags=priceReducedProduct&tfo_availabilityColor=green
  В ссылке уже указаны нужные мне фильтры Цена, Новые продукты и акции, Доступность
  
  
  Но нужно парсить не все подруппы а только избранные
  
  
  2. Фото нужно только ссылки на них с сайта
  
  3. Описание с html разметкой
  
  Все данные которые надо парсить
  
  
  4. Парсить желательно 1 раз в день или хотя бы в 2 дня, тут наверное было бы хорошо сделать так 
  если товар ранее был спарсен ранее  то просто обновить цену, скидку, количество 
  а если товар новый то парсим все данные. 
  
  

• Выдает в результате только 2000 товаров а многие подгруппы имеют намного больше товаров, поэтому тут надо как то обойти эти ограничения или наверное надо проваливатся глубже в группу уровня 3 или 4 чтобы или возможно вы сумеете обойти это

• САЙТ ПОД ЗАЩИТОЙ ClodFlare 

Парсер повинен встановлюватися на VPN сервері та запускатися автоматично за розкладом планувальником CRON

Результат роботи - кілька файлів YML(XML) у форматі ПРОМ - опис формату тут

https://support.prom.ua/hc/uk/articles/360004963538-%D0%86%D0%BC%D0%BF%D0%BE%D1%80%D1%82-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-YML-%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82-%D1%84%D0%B0%D0%B9%D0%BB%D1%83

Парсер должен устанавливаться на VPN сервере и запускаться автоматически по расписанию планировщиком CRON

Результат работы - несколько файлов YML(XML) в формате ПРОМ - описание формата тут

https://support.prom.ua/hc/uk/articles/360004963538-%D0%86%D0%BC%D0%BF%D0%BE%D1%80%D1%82-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-YML-%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82-%D1%84%D0%B0%D0%B9%D0%BB%D1%83