Cайт которые необходимо парсить:
https://e-katalog.intercars.com.pl/
Данный которые необходимо парсить:
Артикул
Бренд
Цена оптовая(отображается при входе в аккаунт)
Категория товара
Количество товаров в наличии(сумма по складах)
Ссылка за изображение.
Разбиение товаров по файлам:
С https://e-katalog.intercars.com.pl/#/oferta/ все товары в свой файл csv
С https://e-katalog.intercars.com.pl/#/oferta/ шини в отдельный файл
Формат выгрузки CSV, разделитель ";"(точка с запятой).
Данные доступа на сайты могу прислать в ПС по запросу для датального ознакомления.
Реализация на технологиях java, python или на других технология, с возможностью запуска на сервере с под linux.
В приоритете многоточечные приложения, которые могут работать в несколько потоков, так как данных много.
Настроить под регулярное выполнения на сервере, с автоматическим запуском например через cron.
В товарах могут быть повторы, например один и тот же товар доступен в разных разделах сайта, нужно что бы в результате в csv файле, оказывались товары без повторов.
Повтором считаетються товар у которого одинаковый:
артикул и бренд
То есть перед сохранением в сsv/внутреннюю базу парсера проверять есть ли уже товар с таким артикулом и брендом
Важный момент, что бы в процессе парсинга файлы периодично скидывались в csv, это актуально если планируете реализовывать на парсере со своей базой, когда товары сначала сохраняются в базу парсера, потом csv.
В конце работы передать все исходные коды, для возможности внесения изменений самостоятельно при изменениях на сайте.
Приложение должно работать как часы, без сбоев и багов, по причине недочетов в коде.
Cкриншоты прикрепил к проекту.
Так же в корректной последовательности:
https://drive.google.com/open?id=1TOywqtHX1w_FhwsO3PzLTX05-DUtPVPT
