Створення парсера
Потрібно створити парсер, який буде працювати наступним чином:
1 . У парсері адміном додаються умовні «проекти».
2 . Внутри кожного «проекту» додаються посилання на сторінки товарів на різних сайтах, які потрібно партувати кожен день.
3 . Адміністр вибирає, які елементи потрібно партувати на сторінці кожного сайту.
Наприклад: назва товару, поточна ціна, стара ціна, кількість відгуків, рейтинг товару, посилання на зображення. Як адміном задається елемент для парсінга (наприклад, через елемент в коді або інше якось) запропонуватимуть ви. Основна різноманітність і зручність.
Четвертий Після парсінга генерується Google таблиця або csv файл з витягнутими даними. Щоденно дані додаються до таблиці. Якщо зміни не відбулися за день - все ж додаються з поточними значеннями.
5 . Колонки таблиці: дата, поточна ціна, стара ціна, назва товару, кількість відгуків, рейтинг товару та інші
Будь ласка, вкажіть оригінальні терміни та вартість вашої роботи.
У каждого проекта свой файл выгрузки
Все товары на сайтах не нужны. Нужны только заданные товары
-
2 дні1500 UAH
459 11 0 2 дні1500 UAH
Здоров’я
Вартість стандартного парсера від 250грн за джерело
Терміни розробки парсера / надання результатів - зазвичай протягом дня.
Залежить від кількості необхідних робіт.
Ви самі повинні зрозуміти, що універсальних парсерів не існує.
За подібними проектами я можу запропонувати:
- вказувати регулярку для необхідних параметрів для кожного джерела в адмінці.
… Але залишається момент, як парсер буде шукати товари?
Ви будете задавати посилання на товари? На мою думку, це не зовсім зручно.
Для вилучення столових сторінок з кожного джерела потрібна регулярка.
Для пагінації (пролитування списку товарів) - теж.
Все це потрібно уточнити. Як було сказано вище, були подібні проекти. Буде зроблена невелика адмінка, з можливістю додавання джерела і завдань / налаштувань для кожного регулярного вираження для всіх необхідних значень.
Всі роботи виконуються в межах розумної вартості і в мінімальний термін...
-
5 днів5000 UAH
10038 117 0 5 днів5000 UAH
Здоров’я
Розробляю ботів і парсерів на NodeJS. Готова взяти. Пишіть і обговорюємо.
-
4 дні5000 UAH
321 2 0 4 дні5000 UAH
Готовий обговорити завдання
Розробляю парсерт на php
Готовий співпрацювати постійно
-
Каждый сайт устроен и написан по разному, информацию выдает также, поэтому один универсальный парсер на 100500 сайтов вряд ли реализуем
-
Спасибо, поэтому и указал что хотелось бы задавать элемент (в коде страницы) для Парсинга на каждом сайте вручную
-
У кожного сайту саоя розмітка хтмл. Тому і не вийде зробити універсальний парсер.
Вам потрібна людина, яка зробить парсер і надалі буде з ним працювати.
Грубо кажучи, розробка 5000грн + постійна доробка +8$ година.
Або ж
-
Мне казалось я указал что вручную должны задаваться элементы сайта. Я понимаю что это не универсальный парсер т к разная разметка у разных сайтов.
-
Ви так і не зрозуміли, що Вам відписували - немає універсального парсера
в кожного сайта є своє DOM дерево
Один сайт - один парсер -
Google Sheets -> “=ImportXML(посилання; Xpath; “en_US”) “
-
Ivan O. FastflowЧто за кринж...
-
Были похожие проекты. Делалась небольшая админка. Где идет управление источниками и для каждого настройка регулярных выражений для каждого параметра (будь то характеристики товара или ссылки на товар / пагинацию)
-
так - було багато таких = всі провалом закінчувались ))))
-
Сочувствую, в чем у вас сложность - не знаю. Вполне себе рабочий проект уже несколько лет.
Онлайн парсер / апи (как угодно можно назвать) для выдачи актуальных цен на настроенные источники. На входе ссылка на товар, по которой определяется источник и настройки. На выходе json / xml / html по заданному шаблону.
Соответственно вся регулярка для каждого источника задется в админке.
-
чи пошук регулярками чи xpath чи ін - всерівно для кожного істочніка(як ви пишете) - потрібно свій пошук, свою логіку
Немає одних і тих же регулярок для пошуку цін по div -
Так я и не писал, что везде одинаковая регулярка. Вот элементарные настройки для одного из старенького проекта. Быстро внес 2 регулярки от prom.ua для названия и кода товара. Все остальное делается так же. Так же добавляются и другие поставщики. Параметры какие душе угодно.
-
так я ж не про то кажу
кажу я і всі інші учасники = що для кожного нового сайту потрібно нову логіку (чи то регулярки чи xpath і т д )
-
Так в т.з. так и написано, что создаются в админке "проекты". Я всего лишь написал, что уже делалось такое и не раз. Конечно же для каждого "проекта / сайта / источника" необходимо вносить соответствующие настройки. )))
-
так )))
зробили ставку - побачимо що скаже замовник
чи замовник до кінця зрозумів суть проблеми та як буде реалізовано це все ))) -
вам же не какой-то ноунейм-сайт без обновлений парсить?
во-первых банальные защиты от роботов
во-вторых сложность динамической разметки, тот же алегро вы регуляркой не получите, потому как там вложенность дерева на две сотни элементов и они генерируются, то есть нужно привязка и ступенчатое отсечениетретье выплывает из второго - кому то хватает одного, кому то совершенно ного
-
підтримую
-
Все верно. Но во многих случаях описанное решается работой, через эмуляцию браузера (тот же селениум). Не говорю, что во всех!!! Где этого нет - еще проще. Плюс автор проекта указал "Нужны только заданные товары", как понимаю будут указываться ссылки на нужные товары. Да и что загадывать. Я всего лишь указал, что такое делалось. Многие просто хотят "универсальные" парсеры. Но я в ставке на эту тему написал, что конечно же универсальных не бывает.
Изначально все делается, проверяется. У заказчика остается возможность задать новые источники, подправить существующие без вмешательство в код. Только и всего. Хотя за этим опять таки обращаются снова.
-
ну так робіть ставку і робіть проект )))
-
ТОму то і кажу = що було багато таких проектів, де замовник хо ів універсальності - і нічого доброго не було - тому що немає універсального рішення
-
Актуальні фриланс-проєкти в категорії Парсинг даних
Svitlahata
750 UAH
Потрібно імпортувати 1819 товарів із XML/YML-фіду Prom.ua до OpenCart 3. Є готовий XML-файл, який містить назви товарів, описи, ціни, фотографії, характеристики, виробників та категорії. Необхідно: імпортувати всі товари до OpenCart 3; створити та прив’язати категорії;… CMS, Парсинг даних ∙ 1 день 1 година тому ∙ 32 ставки |
Парсинг даних через мобільне APIШукаю людину з досвідом парсингу даних через мобільне API, для парсингу e-commerce, rozetka та аналоги Завдання: 1. Перехоплення трафіку мобільного додатку (Android) налаштування проксі, аналіз запитів 2. Визначення потрібних API endpoints, куди йдуть запити, які headers… Python, Парсинг даних ∙ 2 дні 20 годин тому ∙ 30 ставок |
Шукаю програміста або вайб-кодера для автоматизації збору даних 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я випадково на ту ссылку послав Веб-програмування, Парсинг даних ∙ 2 дні 23 години тому ∙ 39 ставок |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 7 днів 17 годин тому ∙ 20 ставок |
Створення файлу Exel для завантаження товарів на сайти інших партнерів.Мене цікавить щоб зробити табличку Exel з повністю всіма параметрами. Ось сайт -https://heiztechnik.com.ua/ І позиціії які цікавлять щоб були перенесенні : Ручні котли : 1) TIS UNI 15-95 кВт(10) шт 2)TIS HARD 150-500 кВт(7) шт Пелетні котли: 1)TIS PELLET 15-95 кВт(10) шт 2)TIS… Парсинг даних ∙ 7 днів 21 година тому ∙ 38 ставок |
США