Парсер цен на товар

С какого сайта должна собирать?

Yury Dmitriyevich 11 grudnia 2019

со всех возможных

😂 😂

На які кількості сайтів, ви хочете провіряти інформацію?

Це важливо, бо  для кожного сайту прийдеться писати парсер

Yury Dmitriyevich 11 grudnia 2019

со всех возможных , или сделать возможность добавлять сайты вручную

Также нужен съём данных с прайс агрегаторов

Парсер пишется под конкретный сайт, например есть 20 сайтов, то под каждый сайт нужно писать свой парсер, и каждый сайт учитывается в сумму которую вы заплатите, например 200 грн за сайт, это значит, 4000 грн за 20 сайтов например, на эта цена коливается от каждого сайта, от 200 грн до бесконечности

Yury Dmitriyevich 11 grudnia 2019

как вариант, мы можем сами забивать ссылки на товарные карточки в разных магазинах

Это так работать не будет. Нужна конкретика. Выберите несколько основных сайтов и предоставьте список. Сделать универсальный парсер для всех сайтов не выйдет. Даже если попытаться привязать парсер к метаданным - все равно не будет гарантии что он сможет переварить тот или иной сайт. 

https://youtu.be/6Ky4oQD--LY

Объясню на вашем языке: приходит покупатель в магазин и говорит "Хочу универсальную микроволновку". Чтобы разогревать еду, чтобы убиралась в доме, чтобы готовила, чтобы я мог на ней ездить на работу. И вообще, могла выполнить любую работу по дому, что я ей скажу.
Примерно так выглядит Ваше задание по "универсальному парсеру", если перевести на бытовой язык.

Каждый сайт индивидуален: своя структура, классы, id, скрипты. При том, что время от времени структура сайта меняется. Были бы они одинаковые - не вопрос. Но так не бывает.  

Yury Dmitriyevich 12 grudnia 2019

я это всё прекрасно понимаю,  но мы компания дистрибьютор и нам необходимо контролировать демпинг на продукцию. Сейчас это делается вручную и занимает много времени, поэтому и нужна автоматизация. 

Постоянно появляются новые интернет магазины, их мы можем забивать в парсер вручную, линки на карточки товара тоже можем вносить. Тут вопрос ежедневного контроля. 

Пока магазинов около 40-70 где продаётся продукция, а к лету как минимум 10-20 добавится новых и уйдут какие-то из старых, такие изменения постоянно идут.

Поэтому и нужно универсальное решение.

Поверьте, взять Datacol и настроить его под каждый сайт не проблема, но опять же , возвращаемся к большому количеству кампаний в нём и простой неудобности использования этого ПО для менеджера.

 

Вы же не первый дистрибьютор кто пытается контролировать цены. Верно? Не знаете как - наймите того, кто знает (я не о себе).  
Это делается не только мониторингом цен. Мониторить все сайты (текущие и потенциально новые) невозможно. Как и невозможно контролировать цены на всём рынке. Есть определенные практики контроля (онлайн + контрольные закупки, при условии что вся продукция "белая" и имеет специальные "коды" для отслеживания цепочки продаж), которые позволят контролировать 70-80% объема продаж. Ладно, не мне Вам рассказывать.
В любом случае, хотеть можно что угодно, но реализовать можно далеко не всё.
Как вариант можно нанять специалиста по парсингу на постоянной основе, который будет писать ежедневно парсеры для новых сайтов и предоставлять данные в удобной форме менеджеру.
Универсального решение для Вашей ситуации нет и быть не может. 

Делаете хоть 200 компаний в датакол и собераете через power query, с ручной работы только запустить.

Yury Dmitriyevich 12 grudnia 2019

вот это уже интереснее, на выходе будет файл для менеджера, с выделенными ячейками в которых есть отклонение цен от номинала, со списком магазинов и цен в них ?

да, делал похожее раньше