Спарсить 2 категории товаров Яндекс маркете

потому что Яндекс маркет очень жестко банит за парсинг.

Сергей Редкоплет 24 ноября 2016

ну так я же написал изначально в тз, если не опыта не суйтесь))))

Посмотрел маркет, и понял почему никто не смог - потому что линки с маркета ведут не на страничку товара (как например в мобильных телефонах), а сразу в магазин, причем все они разные, а это значит для каждого магазина нужен свой шаблон, причем их число может быть 20, а может и 100. И под каждый свой шаблон парсинга.  Итого при Вашем бюджете - 90 грн. за шаблон парсинга с магазина.

Надеюсь понятно пояснил. 

А нет, не все такие.

там есть хитрость одна, чтоб маркет выдавал странички товара

А в каждой подкатегории точно есть по 50 тыс?

Точно нету, в балетках например ~ 1400

А нет, вышло больше около 5000. Посмотрим спарсится ли

В этих категориях 90 подкатегорий.

Итого 9000/(90*2)=50 грн. за категорию? Вы не ошиблись, уважаемый?

Сергей Редкоплет 24 ноября 2016

ааа..  то есть 9000 грн за две категории маркета это нормально, а 100 грн за одну подкатегорию это уже мало))) с математикой плохо?  мозгами думаете? или глазами?))

Из каждой подкатегории можно выкачивать не более 50 тысяч товаров.

да, 100 грн за одну подкатегорию это очень мало

Ну и чтоб не быть голословным по поводу цены - болтает, а делать не умеет, прилагаю пример парсинга.  В виде частичного парсинга подкатегории  Женские балетки. 

Таблица

Папка с картинками

Из прошлого задания никто походу не справился)

вобще маркет так паршиво отдает результаты, много дублей очень

Может вам стоить купить контентный api ключ и парсить по ~11к товаров день,  его цена такая же  как и у вашего проекта

Да я уже спарсил линки, нужно попробовать теперь сам контент подцепить.

да линки я тоже спарсил, а толку то они на разные магазины ведут

так надо парсить линки на товары, но товары повторяются, например разница только в размере. И что с ними делать? Вручную фильтровать? Ну и маркет парсится очень паршиво.

Балетки Aquazzura	10884 грн	Женские балетки	Aquazzura	https://market.yandex.ua/product/1713340716?show-uid=800803913957528000800160&nid=57420&hid=7814989&lr=143
Балетки Aquazzura	10884 грн	Женские балетки	Aquazzura	https://market.yandex.ua/product/1713340717?show-uid=800803913957528000800162&nid=57420&hid=7814989&lr=143
Балетки Aquazzura	10884 грн	Женские балетки	Aquazzura	https://market.yandex.ua/product/1713340711?show-uid=800805789756468965000171&nid=57420&hid=7814989&lr=143

Если кому интересно , я тут статистику набросал: 

Всего ~300к товаров в категории женская одежда и более 30 разных магазинов,  итого имеем ~0,015 коп за 1 товар