Парсинг сайта в базу данных
1698 UAHОсновная задача, парсинг данных с сайта в новую базу данных MySQL.
Скопировать весь каталог с сайта с парт-номерами, включая его структуру по категориям. Нам нужна именно БД с классификацией товара с их иерархией, в точности, как на сайте:
Пример:
Integrated Circuits (ICs) > Clock/Timing - Application Specific
Получается тут группа Integrated Circuits (ICs) в которой подгруппа Clock/Timing - Application Specific и в ней располагаются какие-то детали. У этой подгруппы деталей множество различных параметров. Причем эти параметры в разных группах и подгруппах отличаются типом и количеством.
Необходимо скопировать нужные для нас данные со страницы (на сайте есть возможность выводить по 500 строк на страницу для удобства, и даже возможность выгрузки в CSV формат всей таблицы, но скорее всего есть какое-то ограничение для защиты информации)
По возможности было бы неплохо реализовать возможность не добавлять в БД ненужные для нас данные, т.к. БД будет и так большой и лишняя информация нам ни к чему. К примеру данные из этих колонок нам не интересны “Compare Parts”, “Datasheets”, «Image», «Digi-Key Part Number», «Quantity Available», «Unit Price USD», «Minimum Quantity»
Некоторые позиции отличаются лишь данными «Digi-Key Part Number» и «Quantity Available», которые нам не нужны. Поэтому если убрать эти данные, то будут такие строки, где все данные абсолютно одинаковые. Нужно будет реализовать какой-то механизм удаления этих дублей сразу на стадии парсинга. Для нас самое основное это данные в колонках «Manufacturer Part Number », «Manufacturer» и группа и подгруппа, к которым эти данные пренадлежат, и естественно, необходимо, чтобы такие данные не дублировались.
Сама программа для периодического парсинга нам не нужна, нужна именно готовая БД.
Таблица 1: Brands
id – уникальный
brand_name – наиманование бренда на английском из столбца «Manufacturer»
Таблица 2: Sections Разделы (типы устройств)
id – уникальный
section_name – наименование раздела или подраздела на английском
parent_id – id для определения принадлежности section_name к разделу или подразделу
Таблица 3: Partnumbers
id – уникальный
part_number – уникальный парт-номер без пробелов, только заглавными из столбца «Manufacturer Part Number»
type_id – id раздела из таблицы 2
brand_id – id бренда из таблицы 1
params – параметры в формате json (имя параметра: значение) из всех оставшихся нужных столбцов
Отзыв заказчика о сотрудничестве с Владиславом Н.
Парсинг сайта в базу данныхРабота выполнена быстро и в срок. Рекомендую к сотрудничеству
Отзыв фрилансера о сотрудничестве с заказчиком
Парсинг сайта в базу данныхЧеткое ТЗ, заказчик всегда на связи. Благодарю за сотрудничество!
-
Победившая ставка3 дня1698 UAH
6055 284 0 Победившая ставка3 дня1698 UAH
Добрый день. Готов спарсить всю информацию (при условии, что берем данные со страницы списка). Дубликаты и ненужные данные удалю. Результаты предоставлю в виде базы MySql.
Тут основная проблема, что у каждой категории свой набор характеристик. Поэтому надо обсудить с вами, как организовать таблицы в базе (зависит от вашего сценария использования).
-
4 дня2759 UAH
1964 76 0 4 дня2759 UAH
Сделаю , возможна оплата на карту сбера , срок указан с запасом
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
-
Добрый день. В каком формате вам нужна база данных: MySql, SqlServer, набор csv файлов?
-
Актуальные фриланс-проекты в категории Парсинг данных
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 1 день 7 часов назад ∙ 12 ставок |
Нужен специалист для поиска контактов ЛПР по УкраинеНеобходимо собрать базу (или готовую базу) контактов лиц, принимающих решения (ЛПР), в компаниях Украины. Поиск и сбор информации, Парсинг данных ∙ 1 день 12 часов назад ∙ 14 ставок |
Необходимо спарсить данные из Linkedin
Необходимо спарсить данные с Linkedin по нашему списку. Для каждой записи нужно найти и собрать доступные данные, если такие есть на Linkedin профиле, включая фотографию профиля в соцсети Linkedin, email-адрес, ссылки на социальные сети, вебсайт компании, номер телефона. Все… Парсинг данных ∙ 1 день 18 часов назад ∙ 24 ставки |
Парсинг и классификация данных
Ищем разработчика для реализации системы сбора и структурирования данных из открытых источников. У нас есть база владельцев малого бизнеса в США, которая содержит имя человека, название компании, адрес и штат. Необходимо построить процесс обогащения этих записей дополнительной… Веб-программирование, Парсинг данных ∙ 1 день 19 часов назад ∙ 38 ставок |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 2 дня 22 часа назад ∙ 34 ставки |