Создание парсера
Добрый день.
Нужно создать парсер, который будет работать следующим образом:
1. В парсере админом добавляются условные «проекты».
2. Внутри каждого «проекта» добавляются ссылки на страницы товаров на разных сайтах которые нужно парсить каждый день.
3. Админ выбирает какие элементы нужно парсить на странице каждого сайта.
Например: название товара, текущая цена, старая цена, количество отзывов, рейтинг товара, ссылка на изображение. Каким образом админом задается элемент для парсинга (например через элемент в коде или ещё как-то) предложите вы. Главное универсальность и удобство.
4. После парсинга генерируется Google таблица или csv файл с вытянутыми данными. Ежедневно данные добавляются в таблицу. Если изменений не было за день - все равно добавляются с текущими значениями.
5. Колонки таблицы: дата, текущая цена, старая цена, название товара, количество отзывов, рейтинг товара и другие
Пожалуйста укажите ориентировочные сроки и стоимость вашей работы.
У каждого проекта свой файл выгрузки
Все товары на сайтах не нужны. Нужны только заданные товары
-
2 дня1500 UAH
459 11 0 2 дня1500 UAH
Здравствуйте.
Стоимость стандартного парсера от 250грн за источник
Сроки разработки парсера / предоставление результатов - обычно в течении дня.
Зависит от объемов требуемых работ.
Вы должны сами понимать, что универсальных парсеров не бывает.
По похожим проектам могу предложить следующее:
- указывать регулярку для нужных параметров для каждого источника в админке.
… Но остается момент, как парсер будет находить товары?
Вы будете задавать ссылки на товары? Как по мне это не совсем удобно.
Для вычленения страниц с товарами с каждого источника - нужна регулярка.
Для пагинации (пролистывания списка товара) - тоже.
Это все нужно уточнять. Как написал выше, были похожие проекты. Делается небольшая админка, с возможностью добавления источника и задания / настройки для каждого регулярных выражений для всех нужных значений.
Все работы выполняются в пределах разумной стоимости и в минимальные сроки...
-
5 дней5000 UAH
10123 117 0 5 дней5000 UAH
Здравствуйте.
Разрабатываю ботов и парсеры на NodeJS. Готов взяться. Пишите, обсудим.
-
4 дня5000 UAH
345 2 0 4 дня5000 UAH
Готов обсудить задание
Разрабатываю парсерт на PHP
Готов постоянно сотрудничать
-
Каждый сайт устроен и написан по разному, информацию выдает также, поэтому один универсальный парсер на 100500 сайтов вряд ли реализуем
-
Спасибо, поэтому и указал что хотелось бы задавать элемент (в коде страницы) для Парсинга на каждом сайте вручную
-
У кожного сайту саоя розмітка хтмл. Тому і не вийде зробити універсальний парсер.
Вам потрібна людина, яка зробить парсер і надалі буде з ним працювати.
Грубо кажучи, розробка 5000грн + постійна доробка +8$ година.
Або ж
-
Мне казалось я указал что вручную должны задаваться элементы сайта. Я понимаю что это не универсальный парсер т к разная разметка у разных сайтов.
-
Ви так і не зрозуміли, що Вам відписували - немає універсального парсера
в кожного сайта є своє DOM дерево
Один сайт - один парсер -
Google Sheets -> “=ImportXML(посилання; Xpath; “en_US”) “
-
Ivan O. FastflowЧто за кринж...
-
Были похожие проекты. Делалась небольшая админка. Где идет управление источниками и для каждого настройка регулярных выражений для каждого параметра (будь то характеристики товара или ссылки на товар / пагинацию)
-
так - було багато таких = всі провалом закінчувались ))))
-
Сочувствую, в чем у вас сложность - не знаю. Вполне себе рабочий проект уже несколько лет.
Онлайн парсер / апи (как угодно можно назвать) для выдачи актуальных цен на настроенные источники. На входе ссылка на товар, по которой определяется источник и настройки. На выходе json / xml / html по заданному шаблону.
Соответственно вся регулярка для каждого источника задется в админке.
-
чи пошук регулярками чи xpath чи ін - всерівно для кожного істочніка(як ви пишете) - потрібно свій пошук, свою логіку
Немає одних і тих же регулярок для пошуку цін по div -
Так я и не писал, что везде одинаковая регулярка. Вот элементарные настройки для одного из старенького проекта. Быстро внес 2 регулярки от prom.ua для названия и кода товара. Все остальное делается так же. Так же добавляются и другие поставщики. Параметры какие душе угодно.
-
так я ж не про то кажу
кажу я і всі інші учасники = що для кожного нового сайту потрібно нову логіку (чи то регулярки чи xpath і т д )
-
Так в т.з. так и написано, что создаются в админке "проекты". Я всего лишь написал, что уже делалось такое и не раз. Конечно же для каждого "проекта / сайта / источника" необходимо вносить соответствующие настройки. )))
-
так )))
зробили ставку - побачимо що скаже замовник
чи замовник до кінця зрозумів суть проблеми та як буде реалізовано це все ))) -
вам же не какой-то ноунейм-сайт без обновлений парсить?
во-первых банальные защиты от роботов
во-вторых сложность динамической разметки, тот же алегро вы регуляркой не получите, потому как там вложенность дерева на две сотни элементов и они генерируются, то есть нужно привязка и ступенчатое отсечениетретье выплывает из второго - кому то хватает одного, кому то совершенно ного
-
підтримую
-
Все верно. Но во многих случаях описанное решается работой, через эмуляцию браузера (тот же селениум). Не говорю, что во всех!!! Где этого нет - еще проще. Плюс автор проекта указал "Нужны только заданные товары", как понимаю будут указываться ссылки на нужные товары. Да и что загадывать. Я всего лишь указал, что такое делалось. Многие просто хотят "универсальные" парсеры. Но я в ставке на эту тему написал, что конечно же универсальных не бывает.
Изначально все делается, проверяется. У заказчика остается возможность задать новые источники, подправить существующие без вмешательство в код. Только и всего. Хотя за этим опять таки обращаются снова.
-
ну так робіть ставку і робіть проект )))
-
ТОму то і кажу = що було багато таких проектів, де замовник хо ів універсальності - і нічого доброго не було - тому що немає універсального рішення
-
Актуальные фриланс-проекты в категории Парсинг данных
База сайтов на woocommerceНеобходимо собрать базу украинских сайтов интернет-магазинов на woocommerce с контактами, которые указаны на сайтах. Только работающие сайты (индикатор: обновление каталога/контента, рабочий домен) Формат таблицы - адрес сайта, номер телефона, e-mail. Парсинг данных ∙ 1 день 8 часов назад ∙ 19 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 2 дня 22 часа назад ∙ 17 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 3 дня 2 часа назад ∙ 34 ставки |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 3 дня 5 часов назад ∙ 39 ставок |
Найти товарный фид (Google Merchant XML) для сайта на OpenCart
700 UAH
Необходимо найти прямую ссылку на действующий товарный фид (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Найти оригинальный фидТребования к результату: Рабочая ссылка на XML-файл Python, Парсинг данных ∙ 3 дня 10 часов назад ∙ 23 ставки |
США