Объединить данные из нескольких CSV файлов полуавтоматически
41 PLNС разных сайтов я спарсил "одно и то же". Колонки называются по разному, колонок разное количество. И данные могут разниться.
Мне нужна программа, скорее всего для windows - визуально чтобы, где я бы указал файлы для чтения из них данных, какие колонки объединять, и каким образом их объединять. Так же вместо url картинки показать картинку и её размеры.
И пользователю надо удобно выбирать спорные значения. Рядом с любым значением данные, скорее всего из первой ячейки своей строки.
А некоторые данные, необходимо нормализовать - привезти их к единому значению.
В итоге, в автоматическом режиме и с помощью пользователя, должен получиться объединенный файл на выходе.
Может уже есть подобная программа?
2. надо создать имена колонок, которым сопоставить имена колонок из разных csv
3. по условно уникальному полю артикул их необходимо склеить. и вот здесь и начинается канитель:
- некоторые строки надо расклеить
- некоторые строки надо утвердить
- некоторые строки имеют в ячейках несколько значений через сепаратор отличающийся от основного. и каждый из них по отдельности нужно объединить (автоматически), утвердить (вручную), отбросить (вручную), нормализовать (сделать замены слов) - привести к разрешенным значениям в этой ячейке (вручную, но оптом)
4. картинка - также показать пользователю все варианты, чтобы он щелкнул по нужной
Получилось всего 150 строк кода.
Заголовки стандартизировал с помощью ini файла рядом с каждым csv
Задача элементарная. Похожа на лабораторную в институте.
Это стоит не более 1000 руб.
Многие выдвинули такие цены..
-
10 dni414 PLN
76 4 0 1 10 dni414 PLN
Предлагаю свои услуги:
• Есть опыт распарсивания сложных артикулов (местами печальный)))
• Если софтом планируется пользоваться долго, можно автоматом создать профили под разные источники данных.
-
А по хорошему то я в свое время не так давно отказался от работы. В постановке задачи по парсингу была как раз похожая ситуация. Требовалось что б некоторые колонки имели названия, являющиеся фактическими данными. Тоже наверняка ребята пришли к такой же ситуации - как это потом совмещать, нормализовать и тд. Ну и что б меня не терзали потом переделываниями сказал что я этого не умею, не могу и не буду.
-
да, ситуация не однозначна с этими данными. Я представляю себе это в виде майндмап карты или даже как в msaccess как на этой картинке: https://studfiles.net/html/19259/957/html_89xpVXq36g.MtEf/img-8edRyw.png
-
А немаловажный вопрос о дальнейшем использовании. Напишите в личку. Может мой вариант "сортировки/нормализации/совмещения" покажется и ничего так. Просто личные сообщения вам недоступны. Могу только ответить.
-
Вопрос на самом деле простой. Заносим мы спарсеное в единую БД и потом эти данные используются где то кроме формирования страниц сайта или формируем страницы сайта сразу.
-
Если данные не используются затем например в приложении, выборке по какому то признаку и тд. то вопрос решаем "малой кровью", своими силами. И бесплатно. Несколько дней головной боли как оплата за урок ))
Ну а если используются кроме как для формирования страниц с характеристиками товара, тогда... Тогда надо думать и конкретизировать
-
а вот вопрс что нужно нормализовать - постановку задачи в парсинге или результат потом это вопрос серьезный. обработка данных пожизненная потом в полуручном режиме тоже спорное удовольствие ))
-
Добрый день. Оправьте, пожалуйста, Ваши фпйлы в л.с., скайп или телеграм. Задача ясна, но нужно более детальное изучение там, где у Вас склеены данные и небходимо разделение. Остальные условия вроде переноса значения по клику или выбора колонок для склеивания легко реализуемы. Также уже есть выбор колонок из выпадающего списка. Эта программа в экселе в портфолио и последний отзыв заказчика тоже о ней.
Если очень важно, то можно и программу под видовс сделать. Но в экселе имхо проще.
-
В программу была внедрена функция заказчика для выделения нужных данных из склеенной ячейки. Там интересная логика. И так как товары разные, то данные там были совершенно различных свойств. Возможно они вопрос "автоматического" разнесения уже не один раз прорабатывали.
Кстати, оно невозможно, т.к. в Ваших файлах у колонок с одинаковыми свойствами могут быть разные заголовки. И прежде чем программе начать это разнесение, необходимо будет задать соответствие колонок.
Интересно, а колонка со склеенными данными часом не #строка# называется?
-
Что то вы меня не удивили - я так и думал, что не обработку результатов парсинга надо рассматривать а постановку задачи самого парсинга
-
Видел подобные попытки впихнуть невпихуемое. Наверное постановкой требований для парсинга один и тот же чудак занимается
-
Написал сам на консольном php, так как выполняется дольше обычного.
Получилось всего 150 строк кода. Использовал ключ состоящий из 3 полей.
Заголовки стандартизировал с помощью ini файла рядом с каждым csv
Задача элементарная. Похожа на лабораторную в институте.
Это стоит не более 1000 руб. -
и где??? код?
Такой, аж 150 строк!!!
ЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁ
Ни одна функция не может содержать больше 20 строк )))
Классика.
Вы как себе учитесь? Или "Война и мир" Толстого читаете?
-
Код:
Сарказма я не понял.
Но вы то за 20 строк кода просите на много больше. -
Понятие "Функция".
Вы это пониматете???
Иначе, с вами не о чем разговаривать.
Учите матчасть. Итить.
-
Не совсем правы ))
За строки кода (а конкретно печатные символы без учёта пробелов) берут деньги чуть чуть в другой категории задач. А тут оценка больше не за 1000 знаков, не посимвольная а за логическое решение задачи. Чем более универсальное решение, тем дольше оно требует мук творчества. При этом красивая реализация решения, имеет право и должно быть по возможности компактной, поэтому оценка по объему кода не слишком корректна ))
-
Так тем более, если сами парсите, то чем искать решение потом к задаче, красивее было бы парсинг реализовать так что б минимизировать или облегчить обработку в итоге.
-
«Это стоит не более 1000 руб.
Многие выдвинули такие цены.. »На к-во букв < 4 тебе путь, сынок.
-
Aktualne zlecenia dla freelancerów w kategorii Aplikacje desktopowe
Narzędzie do porównywania rachunków z bankiem, kartami i księgowymZadanie techniczne: narzędzie do porównywania rachunków z bankiem, kartami i księgowymOgólny cel Potrzebne jest lokalne narzędzie (skrypt/mała aplikacja w Pythonie), które uruchamiane ręcznie co 1-2 miesiące na moim komputerze i dokonuje porównania między: Rachunkami, które… Python, Aplikacje desktopowe ∙ 1 dzień 5 godzin temu ∙ 37 ofert |
Dodać przerwy 10-30 sekund między wysyłkami e-maili
Witam! Szukam doświadczonego programisty 1C / BAS (BAF) do szybkiego rozwiązania problemu technicznego z wysyłką maili.Istota problemu: Używamy programu księgowego BAF (Business Automation Framework), edycja 2.0. Raz w miesiącu pojawia się potrzeba masowego wysyłania klientom… Programowanie stron internetowych, Aplikacje desktopowe ∙ 6 dni 21 godzin temu ∙ 10 ofert |
Rewersowe inżynieria konsolowych narzędzi do ankietowania kontrolerów SSD (Flash ID)1. Cel pracy Wydzielenie interfejsu programowania aplikacji (API) do interakcji z kontrolerami SSD/NVMe z dostarczonego zestawu narzędzi konsolowych (Phison, Silicon Motion, Realtek, Maxiotek, Marvell, JMicron itd.). Wynikiem ma być działający kod w języku C/C++ lub dokładna… C i C++, Aplikacje desktopowe ∙ 7 dni 9 godzin temu ∙ 6 ofert |