Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!
1 000 ₽

Объединить данные из нескольких CSV файлов полуавтоматически

закрыт без выполнения


С разных сайтов я спарсил "одно и то же". Колонки называются по разному, колонок разное количество. И данные могут разниться.


Мне нужна программа, скорее всего для windows - визуально чтобы, где я бы указал файлы для чтения из них данных, какие колонки объединять, и каким образом их объединять. Так же вместо url картинки показать картинку и её размеры.


И пользователю надо удобно выбирать спорные значения. Рядом с любым значением данные, скорее всего из первой ячейки своей строки.


А некоторые данные, необходимо нормализовать - привезти их к единому значению.


В итоге, в автоматическом режиме и с помощью пользователя, должен получиться объединенный файл на выходе.


Может уже есть подобная программа?



Обновление #1 от 19 мая в 22:39
1. колонки в разных фалах в разнобой.
2. надо создать имена колонок, которым сопоставить имена колонок из разных csv
3. по условно уникальному полю артикул их необходимо склеить. и вот здесь и начинается канитель:
- некоторые строки надо расклеить
- некоторые строки надо утвердить
- некоторые строки имеют в ячейках несколько значений через сепаратор отличающийся от основного. и каждый из них по отдельности нужно объединить (автоматически), утвердить (вручную), отбросить (вручную), нормализовать (сделать замены слов) - привести к разрешенным значениям в этой ячейке (вручную, но оптом)
4. картинка - также показать пользователю все варианты, чтобы он щелкнул по нужной

Обновление #2 от 22 мая в 10:31
Написал сам на php
Получилось всего 150 строк кода.
Заголовки стандартизировал с помощью ini файла рядом с каждым csv
Задача элементарная. Похожа на лабораторную в институте.

Это стоит не более 1000 руб.

Многие выдвинули такие цены..


  1. 1 день3 000 ₽
    Марья Йота
     462   21  0   2

    Здравствуйте!
    Задача понятна. Консолидировала прайсы много раз.
    Вашу задачу примерно уже представляю как решить.
    Напишу приложение для виндовc или могу все это запихнуть в Excel.

    Россия Санкт-Петербург | 20 мая в 05:45 |
  1.  фрилансер больше не работает на сервисе
  2. 2 дня1 500 ₴
    Дмитрий Кузнецов
     169   2  0

    Могу сделать на qt c++. Есть
    опыт разработки ПО взаимодействующего с базами данных на С++

    Украина Одесса | 20 мая в 13:10 |
  3. 10 дней5 000 ₴
    Евген RS
     200   4  0   1

    Предлагаю свои услуги:

    • Есть опыт распарсивания сложных артикулов (местами печальный)))
    • Если софтом планируется пользоваться долго, можно автоматом создать профили под разные источники данных.

    Украина Киев | 20 мая в 14:14 |
  4. 10 дней20 000 ₽
    Михаил Фрилансер
     163   2  0

    Здравствуйте.     
    Напишите для обсуждения задачи, и цены.

    Россия Сочи | 20 мая в 14:22 |
  1. ставка отозвана
  2. ставка отозвана
  • А по хорошему то я в свое время не так давно отказался от работы. В постановке задачи по парсингу была как раз похожая ситуация. Требовалось что б некоторые колонки имели названия, являющиеся фактическими данными. Тоже наверняка ребята пришли к такой же ситуации - как это потом совмещать, нормализовать и тд. Ну и что б меня не терзали потом переделываниями сказал что я этого не умею, не могу и не буду.

  • Дмитрий Кир — заказчик проекта

    да, ситуация не однозначна с этими данными. Я представляю себе это в виде майндмап карты или даже как в msaccess как на этой картинке: https://studfiles.net/html/19259/957/html_89xpVXq36g.MtEf/img-8edRyw.png

  • А немаловажный вопрос о дальнейшем использовании. Напишите в личку. Может мой вариант "сортировки/нормализации/совмещения" покажется и ничего так. Просто личные сообщения вам недоступны. Могу только ответить.

  • Вопрос на самом деле простой. Заносим мы спарсеное в единую БД и потом эти данные используются  где то кроме формирования страниц сайта или формируем страницы сайта сразу.

  • Если данные не используются затем например в приложении, выборке по какому то признаку и тд. то вопрос решаем "малой кровью", своими силами. И бесплатно. Несколько дней головной боли как оплата за урок ))

    Ну а если используются кроме как для формирования страниц с характеристиками товара, тогда... Тогда надо думать и конкретизировать

  • а вот вопрс что нужно нормализовать - постановку задачи в парсинге или результат потом это вопрос серьезный. обработка данных пожизненная потом в полуручном режиме тоже спорное удовольствие )) 


  • Добрый день. Оправьте, пожалуйста, Ваши фпйлы в л.с., скайп или телеграм. Задача ясна, но нужно более детальное изучение там, где у Вас склеены данные и небходимо разделение. Остальные условия вроде переноса значения по клику или выбора колонок для склеивания легко реализуемы. Также уже есть выбор колонок из выпадающего списка. Эта программа в экселе в портфолио и последний отзыв заказчика тоже о ней.

    Если очень важно, то можно и программу под видовс сделать. Но в экселе имхо проще.

  • В программу была внедрена функция заказчика для выделения нужных данных из склеенной ячейки. Там интересная логика. И так как товары разные, то данные там были совершенно различных свойств. Возможно они вопрос "автоматического" разнесения уже не один раз прорабатывали.

    Кстати, оно невозможно, т.к. в Ваших файлах у колонок с одинаковыми свойствами могут быть разные заголовки. И прежде чем программе начать это разнесение, необходимо будет задать соответствие колонок.

    Интересно, а колонка со склеенными данными часом не #строка# называется?

  • Что то вы меня не удивили - я так и думал, что не обработку результатов парсинга надо рассматривать а постановку задачи самого парсинга

  • Видел подобные попытки впихнуть невпихуемое. Наверное постановкой требований для парсинга один и тот же чудак занимается

  • Дмитрий Кир — заказчик проекта

    Написал сам на консольном php, так как выполняется дольше обычного.
    Получилось всего 150 строк кода. Использовал ключ состоящий из 3 полей.
    Заголовки стандартизировал с помощью ini файла рядом с каждым csv
    Задача элементарная. Похожа на лабораторную в институте.

    Это стоит не более 1000 руб.

  • и где??? код?

    Такой, аж 150 строк!!! 

    ЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁЁ

    Ни одна функция не может содержать больше 20 строк )))

    Классика.

    Вы как себе учитесь? Или "Война и мир" Толстого читаете?

  • Дмитрий Кир — заказчик проекта

    Код:
    image
    Сарказма я не понял.

    Но вы то за 20 строк кода просите на много больше.

  • Понятие "Функция".

    Вы это пониматете???

    Иначе, с вами не о чем разговаривать.

    Учите матчасть. Итить.

  • Дмитрий Кир — заказчик проекта

    Марья, вы внимательнее следите за темой разговора и тому, что пишите.
    Про функцию вы пишите. Я даже не комментировал ваше утверждение.

  • Не совсем правы ))

    За строки кода (а конкретно печатные символы без учёта пробелов) берут деньги чуть чуть в другой категории задач. А тут оценка больше не за 1000 знаков, не посимвольная а за логическое решение задачи. Чем более универсальное решение, тем дольше оно требует мук творчества. При этом красивая реализация решения, имеет право и должно быть по возможности компактной, поэтому оценка по объему кода не слишком корректна ))

  • Дмитрий Кир — заказчик проекта

    нет не #строка#
    я сам делаю парсинг с помощью CD

  • Так тем более, если сами парсите, то чем искать решение потом к задаче, красивее было бы парсинг реализовать так что б минимизировать или облегчить обработку в итоге.

  • «Это стоит не более 1000 руб.
    Многие выдвинули такие цены.. »


    На к-во букв < 4 тебе путь, сынок.

  • Дмитрий Кир — заказчик проекта

    Да чё так, вокруг да около? Уж пиши, что думаешь, не маскируйся.