Парсинг цен конкурентов
примерно такую таблицу хочу заполнять через web интерфейс и запускать парсинг через список проксисерверов который ввожу в настройках парсеров
ссылки вбиваются в столбцы 6/7/8/9/10
в ячейке 5 получаем минимальную цену среди всех
также при парсинге должен учитываться информер наличия, если товар не в наличии - пишем "НЕТ"
должен быть экспорт в эксель по одной кнопке
также должна быть возможность настроить под каждый сайт код из которого мы вырезаем кусок с ценой и наличием
предлагайте свои цены
-
14 days56 USD
364 14 days56 USD
Доброго времени суток.
Меня зовут Максим
Вот мое портфолио stomaks.me
Сумму указал примерную, точнее будет ясно от объема данных на сайтах.
Парсер написан мной лично.
Также в моей команде 3 человек.
… Пишите, обсудим детали
-
11 days25 USD
486 23 0 11 days25 USD
Здравствуйте, хочу обсудить детали проекта.
Точная цена и сроки после обсуждения проекта
Могу написать программу для Windows
-
14 days357 USD
14 days357 USD
Добрый вечер!
С подобной задачей имел дело.
Готов помочь вам в решении, обращайтесь.
-
14 days306 USD
1131 25 0 14 days306 USD
Добрый день. Есть большой опыт разработки таких УНИВЕРСАЛЬНЫХ (с возможностью САМОМУ добавлять сайты) парсеров с веб-интерфейсом. Примеры показать не смогу - это закрытые корпоративные решения. Но сразу могу сказать - просто это не делается, т.к. к каждому сайту нужен свой подход. Цену указал начальную, т.к. знаю сколько сложностей предстоит с такой системой. Вопрос: допустим у вас есть некий товар в списке - вы сами добавите в него подходящие страницы с других сайтов? Или вы добавите только главные страницы сайтов, а парсер сам должен искать этот товар на этих сайтах?
-
Сайтов фиксированное количество или может понадобиться добавить новый?
Под каждый сайт свои методы парсинга.
-
под каждый сайт метод парсинга - вырезать начало и кусок кода с ценой)
-
Вы же осознаете, что на разных сайтах может быть разный код? И запрограммировать парсер, чтобы он был универсальным и парсил абсолютно все -- невозможно.
-
Осознаю конечно, для этого и должна быть возможность добавить по каждому сайту начало и конец тега в коде из которого мы дергаем значение и ставим в таблицу.
Тоже само и с наличием.
-
К сожалению, это немного не так работает, малейшее изменение в коде -- парсер сломан. Нужен фиксированный список сайтов. Повторюсь, совсем-совсем универсальных парсеров попросту не бывает.
-
в contendownloader куском кода вырезается всё, но там нет дальше возможности сделать сводный эксель, верстка меняется - но ничего не мешает залезть в код вписать в ячейку и вот парсер и поменялся
-
Если бы Вы указывали на каждый сайт правильное регулярное выражение (Regex Expression), тогда можно было бы, в принципе, что-то сделать близкое к универсальному в каком-то понимании. Но, учитывая недостаток Ваших знаний в этой области, не думаю, что это является решением.
-
в content downloader мне из без этих знаний хватает знаний html парсить многотысячные сайты, но сводить в единую таблицу там к сожалению нельзя
потому тут вопрос прямоты рук и подхода исполнителя
-
Content Downloader не один день делался, само собой, он умеет многое, но, опять же, универсального парсера не существует.
-
объясните пожаулйста в чем разнообразие между сайтом а и сайтом б кроме кода? Нужно зайти взять кусок преднастроенного кода и уйти. Естественно универсально)Я не хочу чтобы он работ без преднастройки и понимаю что меняется и коды и верстка и т.д. Но мне надоело например платить excelvba за переделку каждого пука и перенастройку парсеров, хотя поменялся только тег на сайте - и лег весь парсер. Зачем усложнять когда надо упрощать.
-
поэтому лучше не фиксированное количество - как логически сделать , могу объяснить...не хватает мне навыков програмирования, если честно)
-
вы ж понимаете что если вы даже укажите тег,не всегда по ним парсится, порой xpath нужно составлять.от того правильно ли вы его составите будет зависеть результат спарсит ли вообще софт с этого сайта данные.
я не говорю уже что каждый сайт может иметь свою защиту( рекапчу,клаудфларе и т.д.) -
Current freelance projects in the category Data Parsing
Collection of B2B database of companies in Germany
40 USD
Goal: To obtain a list of potential employers (clients) for B2B mailing. Region: Munich (München) + radius of 50 km. Required niches: Construction companies (Bauunternehmen) Food enterprises (Lebensmittelhersteller, meat processing plants, bakeries) Logistics and… Data Parsing, Lead Generation & Sales ∙ 2 hours 1 second back ∙ 12 proposals |
Carrier databaseInterested in compiling a database of carriers in Ukraine for the year 2026, including tankers, tarpaulins, grain carriers, and others. It is preferable to develop a table. Data Parsing ∙ 3 hours 17 minutes back ∙ 20 proposals |
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 3 days 18 hours back ∙ 12 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 3 days 23 hours back ∙ 17 proposals |
Need to scrape data from LinkedIn
We need to scrape data from LinkedIn based on our list. For each entry, we need to find and collect available data if it exists on the LinkedIn profile, including the profile picture on the LinkedIn social network, email address, links to social media, company website, and… Data Parsing ∙ 4 days 4 hours back ∙ 28 proposals |