Переписать модель DNN на C++ добавив OpenMP, MPFR, GA оптимизатор.

AI и машинное обучение, C и C++ — неверно указаны категории?

26 815 UAH

Добрый день! Нужен специалист по C++ чтобы добавить больше производительности в модель нейросети с высокоточными вычислениями. Мы используем библиотеки cpp_float_dec_100 для высокоточных вычислений. Из-за типа данных Multiprecision, мы не можем обучать на видео картах которые поддерживают только float or double, Поэтому вычисления нужно ускорять на процессорах добавив многопоточность.

1) Библиотека OpenMP, SIMD не поддерживается.

2) Также нужно добавить возможность сохранения модели и запуск сохранённой модели для дообучения.

3) Оптимизатор Adam сменить на GA (Генетический алгоритм). Либо любой другой, какой производительнее, но не на градиентном методе, они не работаю с данной функцией.

4) Данные постоянно загружаются заново при запуске, нужно этот процесс отделить или сделать так, чтобы загружались иначе и один раз, а не после каждого запуска теста. Убедитесь при проверке.

5) Добавить метрику R^2, чтобы отображалась в каждом поколении.

6) Добавить таймер, так как непонятно какую вечность она будет учиться.Либо реальная демонстрация обновления метрик, с какой-то миинмальной продолжительностью. Но точно не после поколения (аналог эпохи), а во время.

Данные скину в сообщениях.

7) Изменить Cpp_float_dec_100 на MPFR с точностью в 87 знаков в числах с плавающей запятой. Как минимум на 13 знаков вычислять меньше, что гораздо эффективнее. Вроде эта, саму версию думаю найдёте.
https://crd.lbl.gov/divisions/amcr/mathematics-dept/math/software/gmpfrxx-an-integrated-c-implementation-of-the-gnu-mp-and-mpfr-multiple-precision-libraries/

Там как раз можно легко переключаться на двойную точность ( примерно 7 знаков) и в любую.

Нужно провести тесты на пригодность модели для развёртывания на серверах. При качественной работе, оплата за проект вырастет. Нужно будет работать с большим количеством данных и проверкой результатов развёртывания с исправлениями.

Нужно довести точность хотя бы в 6-7 цифр из 87.

Количество данных, миллион строк. в 130 мб и 30 мб. +-

Спасибо! Срок в 10-14 дней.

Ставки Обсуждения 3

Pavel Shtemenko 31 декабря 2023

Здравствуйте. Мне понятно пока только что делать до 4 пункта. Дальше должны быть быть наверное дополнительные данные. Вот они на предложенную вами сумму и соответствуют. Остаток который пока нельзя оценить из-за отсутствия данных вряд ли будет стоить меньше. И кроме того не совсем понятно откуда вы берете библиотеки. Ибо вычислительную которую вы указали - она для Fortran. Adam который как вы говорите надо заменить для Python.
Пример вами приведенный посмотрел - даже там есть не мало мест которые можно оптимизировать. Ну и смею заметить что увлекшись GPU все забывают что на многоядерных процессорах имеется так же многоядерные сопроцессоры которые с некоторыми функциями справятся не хуже GPU

Bekzod Dzhanpolatov

2 января 2024

Добрый день! в 5 пункте я имел ввиду просто о доп метрике R^2 которой не было. Нет, пайтона тут нет, только с++. Библиотека там разве не указана? cpp_float_dec_100 frob Boost.

https://drive.google.com/file/d/1a-oszPYGBEo_rTuZuhMNAetUoInbeJUJ/view?usp=sharing

https://drive.google.com/file/d/1OfT-TPcL7BSn5qI1n2TxVAlINWUWT9O3/view?usp=sharing

тренировочная и валидационная

Bekzod Dzhanpolatov

3 января 2024

Здравствуйте! Тогда давайте начнём с первых 4 пунков? Под 5 я имел ввиду добавить метрику R^2 помимо MSE, чтобы в каждой эпохе или в каждом покалении, был виден показатель. SGD добавлять не нужно, понадобится генетических алгоритм в оптимизаторе, надеюсь знакомы. То есть обратное распространение отпадает. Помимо генетического алгоритма, возможны тесты с роем частиц, на будущее. Либо более лучше адаптированные оптимизаторы к нашим данным. Касаемо библиотеки Boost, насколько сложно перейти на MPFR or GMT в которых мы можем задать определённую точность? Так как cpp_float_dec_100 с точностью 100 знаков, а нам достаточно точности в 87 знаков (десятичных чисел), поэтому полагаю, 13 чисел существенно отнимают производительности и явно нелинейное ухудшение, чем если бы было точность в 87 знаков. Сколько бы такое заняло времени ?

Добавить комментарий