Парсинг цен конкурентов
примерно такую таблицу хочу заполнять через web интерфейс и запускать парсинг через список проксисерверов который ввожу в настройках парсеров
ссылки вбиваются в столбцы 6/7/8/9/10
в ячейке 5 получаем минимальную цену среди всех
также при парсинге должен учитываться информер наличия, если товар не в наличии - пишем "НЕТ"
должен быть экспорт в эксель по одной кнопке
также должна быть возможность настроить под каждый сайт код из которого мы вырезаем кусок с ценой и наличием
предлагайте свои цены
-
14 дней2500 UAH
364 14 дней2500 UAH
Доброго времени суток.
Меня зовут Максим
Вот мое портфолио stomaks.me
Сумму указал примерную, точнее будет ясно от объема данных на сайтах.
Парсер написан мной лично.
Также в моей команде 3 человек.
… Пишите, обсудим детали
-
11 дней1111 UAH
486 23 0 11 дней1111 UAH
Здравствуйте, хочу обсудить детали проекта.
Точная цена и сроки после обсуждения проекта
Могу написать программу для Windows
-
14 дней14 858 UAH
14 дней14 858 UAH
Добрый вечер!
С подобной задачей имел дело.
Готов помочь вам в решении, обращайтесь.
-
14 дней12 735 UAH
1131 25 0 14 дней12 735 UAH
Добрый день. Есть большой опыт разработки таких УНИВЕРСАЛЬНЫХ (с возможностью САМОМУ добавлять сайты) парсеров с веб-интерфейсом. Примеры показать не смогу - это закрытые корпоративные решения. Но сразу могу сказать - просто это не делается, т.к. к каждому сайту нужен свой подход. Цену указал начальную, т.к. знаю сколько сложностей предстоит с такой системой. Вопрос: допустим у вас есть некий товар в списке - вы сами добавите в него подходящие страницы с других сайтов? Или вы добавите только главные страницы сайтов, а парсер сам должен искать этот товар на этих сайтах?
-
Сайтов фиксированное количество или может понадобиться добавить новый?
Под каждый сайт свои методы парсинга.
-
под каждый сайт метод парсинга - вырезать начало и кусок кода с ценой)
-
Вы же осознаете, что на разных сайтах может быть разный код? И запрограммировать парсер, чтобы он был универсальным и парсил абсолютно все -- невозможно.
-
Осознаю конечно, для этого и должна быть возможность добавить по каждому сайту начало и конец тега в коде из которого мы дергаем значение и ставим в таблицу.
Тоже само и с наличием.
-
К сожалению, это немного не так работает, малейшее изменение в коде -- парсер сломан. Нужен фиксированный список сайтов. Повторюсь, совсем-совсем универсальных парсеров попросту не бывает.
-
в contendownloader куском кода вырезается всё, но там нет дальше возможности сделать сводный эксель, верстка меняется - но ничего не мешает залезть в код вписать в ячейку и вот парсер и поменялся
-
Если бы Вы указывали на каждый сайт правильное регулярное выражение (Regex Expression), тогда можно было бы, в принципе, что-то сделать близкое к универсальному в каком-то понимании. Но, учитывая недостаток Ваших знаний в этой области, не думаю, что это является решением.
-
в content downloader мне из без этих знаний хватает знаний html парсить многотысячные сайты, но сводить в единую таблицу там к сожалению нельзя
потому тут вопрос прямоты рук и подхода исполнителя
-
Content Downloader не один день делался, само собой, он умеет многое, но, опять же, универсального парсера не существует.
-
объясните пожаулйста в чем разнообразие между сайтом а и сайтом б кроме кода? Нужно зайти взять кусок преднастроенного кода и уйти. Естественно универсально)Я не хочу чтобы он работ без преднастройки и понимаю что меняется и коды и верстка и т.д. Но мне надоело например платить excelvba за переделку каждого пука и перенастройку парсеров, хотя поменялся только тег на сайте - и лег весь парсер. Зачем усложнять когда надо упрощать.
-
поэтому лучше не фиксированное количество - как логически сделать , могу объяснить...не хватает мне навыков програмирования, если честно)
-
вы ж понимаете что если вы даже укажите тег,не всегда по ним парсится, порой xpath нужно составлять.от того правильно ли вы его составите будет зависеть результат спарсит ли вообще софт с этого сайта данные.
я не говорю уже что каждый сайт может иметь свою защиту( рекапчу,клаудфларе и т.д.) -
Актуальные фриланс-проекты в категории Веб-программирование
Построить лендинг на Framer на основе дизайна из Claude / Figma, с анимациями фото
4000 UAH
Сайт, сделанный в Клоде, полностью адаптивный и анимированный. Но нужно перенести его во Фреймер: так, чтобы все блоки были построены во Фреймере и можно было легко редактировать контент и дизайн. То есть не html код, вставленный по секциям, а именно перестроить. (Знаю, что… Веб-программирование ∙ 38 минут назад ∙ 7 ставок |
Необходимо залить товары в соответствующие категории и подкатегории из SQL файловСайт создан на WP. В нем есть каталог товаров. Заливали товары из pdf файла частично вышла каша ( Есть три файла с четким распределением категорий подкатегорий и товаров в них В файле PA.sql категории по нумерации например на сайте https://balluff-ua.com/ Датчики в файле под… Базы данных и SQL, Веб-программирование ∙ 1 час 4 минуты назад ∙ 19 ставок |
Убрать дублирование кода аналитики в коде сайта Okay CMS
1000 UAH
Необходимо на сайте на Okay CMS убрать дублирующийся код аналитики. Нужен опыт работы именно с Okay CMS. CMS, Веб-программирование ∙ 3 часа 29 минут назад ∙ 34 ставки |
Новый магазин на Woocommerce
103 670 UAH
Ищу разработчика для создания интернет-магазина на Woocommerce. Проект - магазин ежедневных акций, популярные товары в ограниченном количестве. Что уже есть: вёрстка всех страниц (витрина, оформление заказа, контентные страницы, аккаунт покупателя), фирменный стиль, логотип,… PHP, Веб-программирование ∙ 3 часа 49 минут назад ∙ 76 ставок |
Установка и настройка платформы Listmonk (или аналога) на VPS Ubuntu 22.04 для email-рассылок
3145 UAH
Ищу специалиста для развертывания и настройки self-hosted платформы для email-рассылок формата html-css. Есть VPS (Ubuntu 22.04 x64 1 GB RAM, 21 GB Disk) + сайт на нем, SMTP-настройки от провайдера домена. ТЗ: Поставить Listmonk (склоняюсь к нему из-за 1 ГБ RAM, но готов… Веб-программирование, Настройка ПО и серверов ∙ 4 часа 30 минут назад ∙ 30 ставок |