Объединить данные из нескольких CSV файлов полуавтоматически
10 USDС разных сайтов я спарсил "одно и то же". Колонки называются по разному, колонок разное количество. И данные могут разниться.
Мне нужна программа, скорее всего для windows - визуально чтобы, где я бы указал файлы для чтения из них данных, какие колонки объединять, и каким образом их объединять. Так же вместо url картинки показать картинку и её размеры.
И пользователю надо удобно выбирать спорные значения. Рядом с любым значением данные, скорее всего из первой ячейки своей строки.
А некоторые данные, необходимо нормализовать - привезти их к единому значению.
В итоге, в автоматическом режиме и с помощью пользователя, должен получиться объединенный файл на выходе.
Может уже есть подобная программа?
2. надо создать имена колонок, которым сопоставить имена колонок из разных csv
3. по условно уникальному полю артикул их необходимо склеить. и вот здесь и начинается канитель:
- некоторые строки надо расклеить
- некоторые строки надо утвердить
- некоторые строки имеют в ячейках несколько значений через сепаратор отличающийся от основного. и каждый из них по отдельности нужно объединить (автоматически), утвердить (вручную), отбросить (вручную), нормализовать (сделать замены слов) - привести к разрешенным значениям в этой ячейке (вручную, но оптом)
4. картинка - также показать пользователю все варианты, чтобы он щелкнул по нужной
Получилось всего 150 строк кода.
Заголовки стандартизировал с помощью ini файла рядом с каждым csv
Задача элементарная. Похожа на лабораторную в институте.
Это стоит не более 1000 руб.
Многие выдвинули такие цены..
-
10 days111 USD
76 4 0 1 10 days111 USD
Предлагаю свои услуги:
• Есть опыт распарсивания сложных артикулов (местами печальный)))
• Если софтом планируется пользоваться долго, можно автоматом создать профили под разные источники данных.
-
А по хорошему то я в свое время не так давно отказался от работы. В постановке задачи по парсингу была как раз похожая ситуация. Требовалось что б некоторые колонки имели названия, являющиеся фактическими данными. Тоже наверняка ребята пришли к такой же ситуации - как это потом совмещать, нормализовать и тд. Ну и что б меня не терзали потом переделываниями сказал что я этого не умею, не могу и не буду.
-
да, ситуация не однозначна с этими данными. Я представляю себе это в виде майндмап карты или даже как в msaccess как на этой картинке: https://studfiles.net/html/19259/957/html_89xpVXq36g.MtEf/img-8edRyw.png
-
А немаловажный вопрос о дальнейшем использовании. Напишите в личку. Может мой вариант "сортировки/нормализации/совмещения" покажется и ничего так. Просто личные сообщения вам недоступны. Могу только ответить.
-
Вопрос на самом деле простой. Заносим мы спарсеное в единую БД и потом эти данные используются где то кроме формирования страниц сайта или формируем страницы сайта сразу.
-
Если данные не используются затем например в приложении, выборке по какому то признаку и тд. то вопрос решаем "малой кровью", своими силами. И бесплатно. Несколько дней головной боли как оплата за урок ))
Ну а если используются кроме как для формирования страниц с характеристиками товара, тогда... Тогда надо думать и конкретизировать
-
а вот вопрс что нужно нормализовать - постановку задачи в парсинге или результат потом это вопрос серьезный. обработка данных пожизненная потом в полуручном режиме тоже спорное удовольствие ))
-
Добрый день. Оправьте, пожалуйста, Ваши фпйлы в л.с., скайп или телеграм. Задача ясна, но нужно более детальное изучение там, где у Вас склеены данные и небходимо разделение. Остальные условия вроде переноса значения по клику или выбора колонок для склеивания легко реализуемы. Также уже есть выбор колонок из выпадающего списка. Эта программа в экселе в портфолио и последний отзыв заказчика тоже о ней.
Если очень важно, то можно и программу под видовс сделать. Но в экселе имхо проще.
-
В программу была внедрена функция заказчика для выделения нужных данных из склеенной ячейки. Там интересная логика. И так как товары разные, то данные там были совершенно различных свойств. Возможно они вопрос "автоматического" разнесения уже не один раз прорабатывали.
Кстати, оно невозможно, т.к. в Ваших файлах у колонок с одинаковыми свойствами могут быть разные заголовки. И прежде чем программе начать это разнесение, необходимо будет задать соответствие колонок.
Интересно, а колонка со склеенными данными часом не #строка# называется?
-
Что то вы меня не удивили - я так и думал, что не обработку результатов парсинга надо рассматривать а постановку задачи самого парсинга
-
Видел подобные попытки впихнуть невпихуемое. Наверное постановкой требований для парсинга один и тот же чудак занимается
-
Написал сам на консольном php, так как выполняется дольше обычного.
Получилось всего 150 строк кода. Использовал ключ состоящий из 3 полей.
Заголовки стандартизировал с помощью ini файла рядом с каждым csv
Задача элементарная. Похожа на лабораторную в институте.
Это стоит не более 1000 руб. -
и где??? код?
Такой, аж 150 строк!!!
ЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁ
Ни одна функция не может содержать больше 20 строк )))
Классика.
Вы как себе учитесь? Или "Война и мир" Толстого читаете?
-
Код:
Сарказма я не понял.
Но вы то за 20 строк кода просите на много больше. -
Понятие "Функция".
Вы это пониматете???
Иначе, с вами не о чем разговаривать.
Учите матчасть. Итить.
-
Не совсем правы ))
За строки кода (а конкретно печатные символы без учёта пробелов) берут деньги чуть чуть в другой категории задач. А тут оценка больше не за 1000 знаков, не посимвольная а за логическое решение задачи. Чем более универсальное решение, тем дольше оно требует мук творчества. При этом красивая реализация решения, имеет право и должно быть по возможности компактной, поэтому оценка по объему кода не слишком корректна ))
-
Так тем более, если сами парсите, то чем искать решение потом к задаче, красивее было бы парсинг реализовать так что б минимизировать или облегчить обработку в итоге.
-
«Это стоит не более 1000 руб.
Многие выдвинули такие цены.. »На к-во букв < 4 тебе путь, сынок.
-
Current freelance projects in the category C & C++
Reverse engineering of console utilities for querying SSD controllers (Flash ID)1. Purpose of the work Extraction of the application programming interface (API) for interaction with SSD/NVMe controllers from the provided set of console utilities (Phison, Silicon Motion, Realtek, Maxiotek, Marvell, JMicron, etc.). The result should be working code in C/C++… C & C++, Desktop Apps ∙ 11 days 19 hours back ∙ 6 proposals |
Development of a Minecraft Java Seed Map / Seed Viewer for the websiteDevelopment of Minecraft Java Seed Map / Seed Viewer for the websiteProject Description A browser-based tool Minecraft Java Seed Map / Seed Viewer needs to be developed, which will work on our website and allow the user to enter a seed from Minecraft Java Edition and view an… C & C++, HTML & CSS ∙ 12 days 2 hours back ∙ 17 proposals |