Написать парсер товаров ИМ по sitemap (Python 3.7)
(нужен рабочий не обфусцированный .py исходник)
Скрипт берет в ИМ sitemap https://clc.to/pQMWeA
идет по всем его ресурсам, скачивает их под притворяясь "Googlebot"
парсит создавая упрощенный xml в котором в unicode сохраняется:
- артикул товара (обычно 6 знаков)
- урл украинского товара
- название русское,
- название украинское
- цена (если нет в наличии =0)
- русское, украинское описание в виде исходного html как было (кирилица в html не закодирована в \0x...-
а должна быть в unicode)
- полный путь к товару по breadcrumbs (через запятую)
в папке картинок Images сохраняет изображение товара с именем = номеру артикула товара 123456
Images/1/23456.jpg
(для уменьшения колличества файлов в одной папке будет 10 подпапок = копия первой цифры)
(фото могут быть jpg/png)
p.s. нужно внутри исходника предусмотреть задержку при переходе на скачивание след.файла список прокси если они заданы, для скачивания циклически используются proxy.
p.p.s. под упрощенным xml понимается то - что не нужны всякие заголовки и спецификации, лишь бы он воспринимался ixml.
