Парсер цен с сайта Хотлайн

Добрый день.
Специализируюсь на парсерах любой сложности.
Сделаю вариант десктопа на java и таким образом будет быстрый и удобный парсинг (могу сделать в виде веб приложения)
Для обхода блокировки у меня есть алгоритм (могу показать по team viewer), и за счет него скорость парсинга составляет примерно 1-3 секунды на одну ссылку, соответсвенно 10000 ссылок будут обработаны примерно за 5 часов.
Исходный файл может быть представлен в разный вариантах и форматах в зависимости от пожеланий.
В моем профиле можно увидеть ссылку на портфолио

1. Реально! Решил подобную задачу через vba excel.
2. Вариант решения. Имея ссылку на хотлайн, сразу получаем все ссылки на сайты конкурентов и дальше парсим цены уже с сайтов нужных конкурентов. При появлении нового товара нужно пополнять базу ссылок конкурентов на новые позиции. Задача упрощается и полностью автоматизируется, если достаточно получить цены ТОП-5 компаний в выдаче Хотлайн. Если нужно углубиться, то сбор цен происходит в два этапа - получение ссылок, парсиг цен.
3. Хотлайн блокирует обращения парсера, даже если выжидать по 20 секунд между запросами. Периодически нужно вводить капчу.
4. Для работы с подготовленным файлом нужен исходный файл в варианте 1 или 2, лицензия на парсер (~150 грн), а сама настройка парсера.
5. Время на обновление цен будет 10000*кол.конкурентов*~2сек.

Обращайтесь, буду рад помочь решить задачу. Время полной организации работ ~1 неделя.

Добрый день
Есть большой опыт работ с хотлайном

Готов помочь дайте мне ответ начну прям щас

1. Да
2. Десктоп
3. Если взять прокси с укр IP и не сильно наглеть с количеством запросов, то все будет отлично.
5. Зависит от количества прокси

добрый день

готов выполнить Ваш проект в виде XLS файла с макросами

на листе будет список товаров (название, ссылка на хотлайн)

нажимаете кнопку парсер спарсит цены и названия конкурентов в соседние столбцы.

только возникает вопрос. у разных товаров могут быть разные конкуренты - как поступить?
… я вижу 2 решения :
1. в первом столбце пишем название конкурента а во втором цену и т.д. пока есть конкуренты. но у разных товаров в одном столбце будут разные конкуренты.
2. в первом столбце пишем цены например от "Manzana" , во втором от "NEO25". и т.д
т.е . будет столько столбцов - сколько встретим конкурентов во время парсинга.

инструмент (парсер) будет работать через список прокси серверов.
список прокси будет на отдельном листе. прокси сервера будут использоваться по очереди. прокси нужны http/https

с уважением Владимир.
https://www.freelancer.com/u/vkalach.html
https://f r e e l a n c e.ru/vkalach/
Freelancehunt