Разработка программы - парсера цен поставщиков

1. Чем вас не устроили готовые решения, которые вы указали: Price Traxer, http://www.pricegrabber.com/

2. Какой пользовательский интерфейс вы ожидаете: десктопное приложение, веб-приложение или просто консольное приложение, работающее в фоне и хранящее настройки, например, в JSON-файле? Под какой ОС планируется использование?

3. На какой бюджет вы рассчитываете?

Victoria Kul 5 November 2017

Добрый день! Первая программа не может отследить часть доноров, не выгружает их цены. Вторая не ищет по артикулу, выдаёт сразу много вариантов.

Кроме парсера цен мне нужна дальнейшая работа с данными - анализ цен, обновление, возможность выставлять условия для сравнения цен и окончательного расчёта.

По поводу интерфеса не могу сказать, можно сделать и десктопное и вебприложение. 

По недостаткам ясно. Тут я могу сказать, что нужно постоянное сотрудничество. То есть не будет такого, что я написал, отдал вам какой-то экзешник со словами «Пользуйтесь» и мы разбежались. Время от времени что-то будет ломаться: сайт может изменить верстку, ввести ограничение на количество запросов или нам придется самим его вводить (например, мне приходилось вводить искусственную задержку в 1 секунду между запросами, иначе он падал). 

Если вы хотите проводить анализ данных, то эти данные нужно где-то хранить и лучше это делать не в файле Экселя, а в какой-то базе данных.

Я могу вам и мобильное приложение запилить, если все оплатите. Если будет база данных, то сам парсер лучше держать как службу на отдельном сервере, а к данным подключаться через графический интерфейс. Если планируется работа с разных ОС, тогда лучше веб. Если только одна конкретная ОС — лучше и быстрее нативное.

Victoria Kul 5 November 2017

ОС - Вы Windows имеете ввиду? У меня 10 версия, но другой менеджер возможно и с другой виндой. Не знаю насколько это принципиально.

Да, с программой планируется работать постоянно, возможно допиливая её и оптимизируя под свои нужды, добавляя поставщиков доноров и работу с импортируемыми файлами.

Во сколько Вы оцениваете свою работу?

Я имел в виду Макос или Линукс, но не суть, можем сделать в браузере.

По цене пока не могу сказать. Дайте мне один-два донора и укажите какие данные вы одтуда хотите получить. Я легкий прототип набросаю и завтра вам скажу.

Victoria Kul 5 November 2017

Вот доноры с которыми у меня проблемы через price traxer: https://www.vitacost.com/, www.swansonvitamins.com 

Необходимо спарсить оттуда цену: (Our price:  $) 

1.1.3 - не реально, потому что каждый сайт по-разному парсится
1.1.4 - имеется в виду сравнение среди тех что внесены в программу? + сравнение уже идет по дозировке, количеству капсул, производителю, чего не было в 1.1.1
1.2.4 - нужно описание этой "системы"
1.3.4 - куда вносить, чтобы спарсить?
1.2 - 1. Скидка поставщика - невозможно понять где и кому выдается промокод, например, это размыто. В чем отличие между акцией и распродажей здесь?
1.3 - описание этого "мониторинга"
Про ссылки к артикулу в конце тоже не понятно, как они привязываются, что за ссылки, что за п1

Victoria Kul 6 November 2017

1.1.3 - Я тестировала Price Traxer - и проблем с парсингом в принципе не было. 

В интерфейсе предусмотрена опция добавления сайта донора и xpath, с помощью которого ты добавляешь путь к цене. Соответсвенно у разных доноров свой xpath, только в этом я вижу отличие. 

1.1.4.  Да, идёт сравнение с позициями доноров которые внесены.

1.2.4 Соответсвенно дублирует пункт 1.1.4. 

1.3.4. Предоставляется файл исходник, как в том же Price Traxer, который считывает данные ползая по урлам.

1.2.  Скидка вносится вручную. Этот этап анализа данных проводится в самом конце. Скорее всего система сначала парсит исходные данные, а далее уже в файле или отдельном окне происходит следующий этап: сравнение данных, пересчёт цен с учётом введённых скидок и т.д.

1.3. ТУт всё просто: задаётся xpath к коду, который отображает "наличие" товара. Соответсвенно если данные на сайте меняются, это должно отображаться в конечном файле. 

Про ссылки к артикулу в конце - это всё тоже самое что и 1.1.4 (1.2.4), тавтология.