Parsowanie strony conrad.pl do xml według harmonogramu

Serwer używa https://hyperhost.ua/ do tego projektu wynajmuję oddzielny, potrzebna jest twoja konfiguracja.

To mała platforma handlowa, na której jest ponad 1 mln produktów. Z filtrami podgrup będzie wychodzić do 200 tys.

• 1. Kategorii głównych jest 12, więc linków do parsowania będzie 12
  
  
  Oto dla przykładu pierwszy link grupy
  https://www.conrad.pl/pl/search.html?categoryId=t01&tfr_price=0.112~~~141218.7&tfo_flags=priceReducedProduct&tfo_availabilityColor=green
  W linku już są podane potrzebne mi filtry Cena, Nowe produkty i promocje, Dostępność
  
  
  Ale trzeba parsować nie wszystkie podgrupy, a tylko wybrane
  
  
  2. Potrzebne są tylko linki do zdjęć z witryny
  
  3. Opis z html markup
  
  Wszystkie dane, które trzeba parsować
  
  
  4. Parsować najlepiej raz dziennie lub przynajmniej co 2 dni, tutaj prawdopodobnie dobrze byłoby zrobić tak 
  jeśli produkt był wcześniej sparsowany, to po prostu zaktualizować cenę, rabat, ilość 
  a jeśli produkt jest nowy, to parsujemy wszystkie dane.
  
  

• Wynikiem jest tylko 2000 produktów, a wiele podgrup ma znacznie więcej produktów, dlatego trzeba jakoś obejść te ograniczenia lub prawdopodobnie trzeba zagłębić się w grupę poziomu 3 lub 4, aby być może uda się to obejść.

• STRONA POD OCHRONĄ ClodFlare 

Сервер использую https://hyperhost.ua/ для этого проекта арендую отдельный, настройка ваша нужна.

Это небольшая торговая площадка там более 1 мил. товаров.  С фильтрами подгруп будет выходить до 200 тыс 

• 1. Категорий главных всего 12, значит ссылок для парсинга будет 12
  
  
  Вот для примера первая группа ссылка
  https://www.conrad.pl/pl/search.html?categoryId=t01&tfr_price=0.112~~~141218.7&tfo_flags=priceReducedProduct&tfo_availabilityColor=green
  В ссылке уже указаны нужные мне фильтры Цена, Новые продукты и акции, Доступность
  
  
  Но нужно парсить не все подруппы а только избранные
  
  
  2. Фото нужно только ссылки на них с сайта
  
  3. Описание с html разметкой
  
  Все данные которые надо парсить
  
  
  4. Парсить желательно 1 раз в день или хотя бы в 2 дня, тут наверное было бы хорошо сделать так 
  если товар ранее был спарсен ранее  то просто обновить цену, скидку, количество 
  а если товар новый то парсим все данные. 
  
  

• Выдает в результате только 2000 товаров а многие подгруппы имеют намного больше товаров, поэтому тут надо как то обойти эти ограничения или наверное надо проваливатся глубже в группу уровня 3 или 4 чтобы или возможно вы сумеете обойти это

• САЙТ ПОД ЗАЩИТОЙ ClodFlare 

Parser powinien być zainstalowany na serwerze VPN i uruchamiany automatycznie zgodnie z harmonogramem planera CRON

Wynik pracy - kilka plików YML(XML) w formacie PROM - opis formatu tutaj

https://support.prom.ua/hc/uk/articles/360004963538-%D0%86%D0%BC%D0%BF%D0%BE%D1%80%D1%82-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-YML-%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82-%D1%84%D0%B0%D0%B9%D0%BB%D1%83

Парсер должен устанавливаться на VPN сервере и запускаться автоматически по расписанию планировщиком CRON

Результат работы - несколько файлов YML(XML) в формате ПРОМ - описание формата тут

https://support.prom.ua/hc/uk/articles/360004963538-%D0%86%D0%BC%D0%BF%D0%BE%D1%80%D1%82-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-YML-%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82-%D1%84%D0%B0%D0%B9%D0%BB%D1%83