Обработка массива данных .csv
1000 UAHЖелезо Core I5 2,4 11Gen, 16Gb.
Есть массив данных, файл .csv. Состоит из нескольких столбцов c произвольными названиями латиницей. Количество строк 500к+.
В результате необходимо рассчитать и дописать в файл еще три столбца.
Столбец S1, cкользящая средняя значений столбца D, выборка за N1 строк
Столбец S2, cкользящая средняя значений столбца D, выборка за N2 строк
Результирующий столбец Z, заполняется по условиям и формулам:
Если условие1 [S1+S2>10] И условие2 [S1*D>k/6-30] соблюдаются
то Z=D, иначе Z=пусто
где S1,S2,D - значение соответствующих столбцов, k - коэффициент.
Как это должно выглядеть в идеале (скрин):
_____________
Диалоговое окно с выбором файла.
Окно ввода значений N1=[ ], N2=[ ], k=[ ]
Окно присвоения переменных столбцам: [название столбца] = [переменная]
Опционно:
Окно ввода значений условия1: [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия2: [оператор перед условием2: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия3: [учитывать ли условие] [оператор перед условием3: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия4: [учитывать ли условие] [оператор перед условием4: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
- формулы 3 и 4 будут учитываться в отдельных случаях, в основном учитываются формулы 1 и 2, галочка выбора
- в левой и правой части условий можно указывать: цифры, скобки, знаки (+-/*) и значения столбцов в виде переменных (S1, S2, A,B,C,D,E)
- знак между частями: <, >, >=, <=
кнопка "Заполнить"
________________
Это идеальный вариант. По умолчанию рассматриваем базовый вариант.
В базовом варианте условия можно редактировать и дополнять в коде - не проблема, это делается редко.
Цель задания: После введения значений N1, N2, k и названий переменных столбцов, нажатия кнопки "Заполнить" система рассчитывает и записывает данные в столбцы S1, S2, Z.
Основное требование: выполнение вычислений и заполнения файла с 500к строк в течении нескольких (2-3) минут, очень желательно одной минуты.
Проект интересует в базе. Но если опционная часть не сильно удорожит, то тоже нужно.
Железо Core I5 2,4 11Gen, 16Gb.
Есть массив данных, файл .csv. Состоит из нескольких столбцов c произвольными названиями латиницей. Количество строк 500к+.
В результате необходимо рассчитать и дописать в файл еще три столбца.
Столбец S1, cкользящая средняя значений столбца D, выборка за N1 строк
Столбец S2, cкользящая средняя значений столбца D, выборка за N2 строк
Результирующий столбец Z, заполняется по условиям и формулам:
Если условие1 [S1+S2>10] И условие2 [S1*D>k/6-30] соблюдаются
то Z=D, иначе Z=пусто
где S1,S2,D - значение соответствующих столбцов, k - коэффициент.
Диапазон значений N1 и N2 - до 2000
Как это должно выглядеть в идеале (скрин):
_____________
Диалоговое окно с выбором файла.
Окно ввода значений N1=[ ], N2=[ ], k=[ ]
Окно присвоения переменных столбцам: [название столбца] = [переменная]
Опционно:
Окно ввода значений условия1: [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия2: [оператор перед условием2: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия3: [учитывать ли условие] [оператор перед условием3: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
Окно ввода значений условия4: [учитывать ли условие] [оператор перед условием4: И/ИЛИ] [левая часть] [знак <>=] [правая часть]
- формулы 3 и 4 будут учитываться в отдельных случаях, в основном учитываются формулы 1 и 2, галочка выбора
- в левой и правой части условий можно указывать: цифры, скобки, знаки (+-/*) и значения столбцов в виде переменных (S1, S2, A,B,C,D,E)
- знак между частями: <, >, >=, <=
кнопка "Заполнить"
________________
Это идеальный вариант. По умолчанию рассматриваем базовый вариант.
В базовом варианте условия можно редактировать и дополнять в коде - не проблема, это делается редко.
Цель задания: После введения значений N1, N2, k и названий переменных столбцов, нажатия кнопки "Заполнить" система рассчитывает и записывает данные в столбцы S1, S2, Z.
Основное требование: выполнение вычислений и заполнения файла с 500к строк в течении нескольких (2-3) минут, очень желательно одной минуты.
Как должна работать система: файл предназначен для другой программы, в ней идет визуализация данных и анализ. После анализа корректируются N1, N2, k, после файл пересчитывается, перезаписывается, подгружается и снова визуализация и анализ. И так циклически много раз. Поэтому кроме того что быстро, должно быть удобно.
Проект интересует в базе. Но если опционная часть не сильно удорожит, то тоже нужно.
Язык написания не принципиален.
Уточнил диапазон значений и описание работы системы, но машинально скопировал все.
Приложения 2
Отзыв заказчика о сотрудничестве с Михайло П.
Обработка массива данных .csvБыстро, четко, все по делу. Все сделано так как и хотелось, даже в большем объеме.
Рекомендую.
Отзыв фрилансера о сотрудничестве с Сергеем Петровым
Обработка массива данных .csvЗаказчик серьёзно подходит к составлению тз!
Постоянно на связи.
Оперативно проверил работу.
Буду рад сотрудничать ещё.
-
Победившая ставка2 дня1000 UAH
4173 123 0 Победившая ставка2 дня1000 UAH
Готов выполнить задание.
Скорость расчётов сильно зависит от параметров н1 и н2. Уточните в каких диапазонах эти параметры будут?
-
2 дня1500 UAH
6087 284 0 2 дня1500 UAH
Добрый день. Могу написать программу под Windows, будет работать очень быстро. Ориентировочно, меньше 1 минуты вместе с записью в файл. Цена указана за базовый вариант. Написано будет на C#.
-
2 дня1000 UAH
366 25 1 2 дня1000 UAH
Здравствуйте. Готов написать на c# WinForms приложение с использованием PostgreSQL.
На моём железе (i5-2520m / 8 Gb) подсчет простой скользящей средней из 1 миллиона double значений составило 21 мсек. С записью в файл менее секунды.
Также есть опыт разработки парсера математических формул (скобки, сложения, вычитания и т.д.).
Актуальные фриланс-проекты в категории Базы данных и SQL
Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С:
2000 UAH
Цель: Есть обработка в 1с по загрузке спецификации Новой почти. По непонятнім причинам перестало подгружать некоторіе табличніе данніе Нужно найти причину и Устранить проблему неполного импорта данных из Excel-файлов спецификаций Новой Почты в 1С: Малый Бизнес. Текущее… Администрирование систем и сетей, Базы данных и SQL ∙ 23 часа 42 минуты назад ∙ 14 ставок |
Система учета, планирования и продажи для грибной фермы
27 000 UAH
Это полный, финальный текст Технического задания (ТЗ). Он объединяет все ваши требования: 16 камер, 20 контрагентов, расписание по дням, учет тары, расчет рентабельности и обязательное деление на три сорта грибов. Вы можете полностью скопировать этот текст и отправлять… Базы данных и SQL, Управление клиентами и CRM ∙ 3 дня 3 часа назад ∙ 55 ставок |
Внешний отчет 1С 8.3 — прогноз остатков товаров
1000 UAH
Нужен внешний отчет (.erf) для 1С:Предприятие 8.3 (конфигурация уточняется). Что должно делать: Извлекать остатки товаров из базы Анализировать историю продаж за последние 30 дней Считать средний темп продаж по каждому товару Определять через сколько дней товар закончится… Базы данных и SQL, Управление клиентами и CRM ∙ 3 дня 4 часа назад ∙ 13 ставок |
Аудит безопасности веб-приложения и базы данных для пользовательской CRM — специалист по BaaS / Database-as-API (пентест)
Обзор проекта Мы управляем индивидуально разработанной платформой управления взаимоотношениями с клиентами (CRM), которая обслуживает два сервисных бизнеса на одной системе. Это современное веб-приложение на JavaScript, поддерживаемое базой данных как сервис (BaaS) и развернутое… Базы данных и SQL, Тестирование и QA ∙ 3 дня 16 часов назад ∙ 10 ставок |
Синхронизация баз данных
Синхронизация программ Microsoft Access и CRM SalesDrive. Передача данных из CRM в Microsoft Access на первом этапе (изменение статуса воронки). Передача данных из Microsoft Access в CRM на втором этапе (изменение статуса в программе). Базы данных и SQL ∙ 3 дня 22 часа назад ∙ 12 ставок |
Николаев