Парсер ua.iherb.com

Парсинг данных — неверно указаны категории?

3000 UAH

Необходимо разработать парсер сайта ua.iherb.com

Детальное ТЗ https://docs.google.com/document/d/1Mt-3o5liY4WyM8Kz1gIewKeWED8-dFpV3Xf6UP-sxf0/edit

Язык программирования особого значения не имеет, главное результат.

Сложность реализации задачи в том что стоит зашита от парсинга. На сколько я понял, проблема в куках.
В данный момент парсер реализован (посмотреть можно здесь https://prs.biovit.site/ )

Парсер рабочий, но...

Сайт в куки какой-то параметр прописывает, дает спарсить несколько товаров, определяет что это парсер и после этого 301 редирект на несуществующую страницу

А если человек вручную много раз забивает в поиск разные запросы, то ему капчу выдает

Если ку-ку с браузера скопировать в парсер все продолжает работать.

По реализации: можно сделать по примеру того что есть (через браузер) или в виде программы на комп. Можно обсудить варианты.

Способ работы готового парсинга:
1. Загружается Эксель файл со списком атрибутов товаров (пример файла предоставлю)
2. Парсер находит товар по атрибуту и парсит необходимые параметры (цена, наличие и тд.)
3. Собранная информация выгружается в эксель таблицу

Обновление #1 от 1 июля 2022

Необходимо разработать парсер сайта ua.iherb.com

Детальное ТЗ https://docs.google.com/document/d/1Mt-3o5liY4WyM8Kz1gIewKeWED8-dFpV3Xf6UP-sxf0/edit

Язык программирования особого значения не имеет, главное результат.

Сложность реализации задачи в том что стоит зашита от парсинга в виде капчи.
В данный момент парсер реализован (посмотреть можно здесь https://prs.biovit.site/ ) Скрин ниже

Парсер рабочий, но...

Сайт в куки прописывает какой-то параметр, дает спарсить 300-500 товаров, определяет что это парсер и после этого 301 редирект на несуществующую страницу

Если ку-ку с браузера скопировать в парсер все продолжает работать.

Способ работы готового парсинга:
1. Загружается Эксель файл со списком атрибутов товаров ниже
2. Парсер находит товар по атрибуту и парсит необходимые параметры (цена, наличие и тд.)
3. Собранная информация выгружается в эксель таблицу

Приложения3