Переписать модель DNN на C++ добавив OpenMP, MPFR, GA оптимизатор.
27 000 UAHДобрый день! Нужен специалист по C++ чтобы добавить больше производительности в модель нейросети с высокоточными вычислениями. Мы используем библиотеки cpp_float_dec_100 для высокоточных вычислений. Из-за типа данных Multiprecision, мы не можем обучать на видео картах которые поддерживают только float or double, Поэтому вычисления нужно ускорять на процессорах добавив многопоточность.
1) Библиотека OpenMP, SIMD не поддерживается.
2) Также нужно добавить возможность сохранения модели и запуск сохранённой модели для дообучения.
3) Оптимизатор Adam сменить на GA (Генетический алгоритм). Либо любой другой, какой производительнее, но не на градиентном методе, они не работаю с данной функцией.
4) Данные постоянно загружаются заново при запуске, нужно этот процесс отделить или сделать так, чтобы загружались иначе и один раз, а не после каждого запуска теста. Убедитесь при проверке.
5) Добавить метрику R^2, чтобы отображалась в каждом поколении.
6) Добавить таймер, так как непонятно какую вечность она будет учиться.Либо реальная демонстрация обновления метрик, с какой-то миинмальной продолжительностью. Но точно не после поколения (аналог эпохи), а во время.
Данные скину в сообщениях.
7) Изменить Cpp_float_dec_100 на MPFR с точностью в 87 знаков в числах с плавающей запятой. Как минимум на 13 знаков вычислять меньше, что гораздо эффективнее. Вроде эта, саму версию думаю найдёте.
https://crd.lbl.gov/divisions/amcr/mathematics-dept/math/software/gmpfrxx-an-integrated-c-implementation-of-the-gnu-mp-and-mpfr-multiple-precision-libraries/
Там как раз можно легко переключаться на двойную точность ( примерно 7 знаков) и в любую.
Нужно провести тесты на пригодность модели для развёртывания на серверах. При качественной работе, оплата за проект вырастет. Нужно будет работать с большим количеством данных и проверкой результатов развёртывания с исправлениями.
Нужно довести точность хотя бы в 6-7 цифр из 87.
Количество данных, миллион строк. в 130 мб и 30 мб. +-
Спасибо! Срок в 10-14 дней.
Приложения 2
-
Здравствуйте. Мне понятно пока только что делать до 4 пункта. Дальше должны быть быть наверное дополнительные данные. Вот они на предложенную вами сумму и соответствуют. Остаток который пока нельзя оценить из-за отсутствия данных вряд ли будет стоить меньше. И кроме того не совсем понятно откуда вы берете библиотеки. Ибо вычислительную которую вы указали - она для Fortran. Adam который как вы говорите надо заменить для Python.
Пример вами приведенный посмотрел - даже там есть не мало мест которые можно оптимизировать. Ну и смею заметить что увлекшись GPU все забывают что на многоядерных процессорах имеется так же многоядерные сопроцессоры которые с некоторыми функциями справятся не хуже GPU -
Bekzod Dzhanpolatov RFID LLC
Здравствуйте! Тогда давайте начнём с первых 4 пунков? Под 5 я имел ввиду добавить метрику R^2 помимо MSE, чтобы в каждой эпохе или в каждом покалении, был виден показатель. SGD добавлять не нужно, понадобится генетических алгоритм в оптимизаторе, надеюсь знакомы. То есть обратное распространение отпадает. Помимо генетического алгоритма, возможны тесты с роем частиц, на будущее. Либо более лучше адаптированные оптимизаторы к нашим данным. Касаемо библиотеки Boost, насколько сложно перейти на MPFR or GMT в которых мы можем задать определённую точность? Так как cpp_float_dec_100 с точностью 100 знаков, а нам достаточно точности в 87 знаков (десятичных чисел), поэтому полагаю, 13 чисел существенно отнимают производительности и явно нелинейное ухудшение, чем если бы было точность в 87 знаков. Сколько бы такое заняло времени ?
-
Актуальные фриланс-проекты в категории AI и машинное обучение
Создать офлайн-II, который анализирует инженерную информациюСоздать офлайн-II, который анализирует инженерную документацию в текстовом виде, PDF-файлах и табличных форматах. Ассистент должен уметь извлекать ключевые требования, выявлять ошибки, сравнивать версии документов и помогать инженеру в проектной работе. AI и машинное обучение ∙ 22 часа 43 минуты назад ∙ 12 ставок |
Генерации и сегментации базы данных водителей и транспортных компаний США
7777 UAH
Описание проекта Мы — американская компания в сфере HR / transportation recruitment. Нам нужен специалист, который с помощью искусственного интеллекта и доступных data-инструментов сможет собрать, обогатить и сегментировать базу данных для дальнейшей работы нашей команды. Что… AI и машинное обучение ∙ 2 дня 18 часов назад ∙ 17 ставок |
Технический консультант по оптимизации железа и аудиту стабильности памяти
53 911 UAH
Всем привет! Ищу специалиста по компьютерному железу или системного инженера, который поможет мне разобраться с нестабильной производительностью моего локального сервера. Я собрал его для рабочих задач, но, похоже, моих любительских знаний не хватает, чтобы выжать из него… AI и машинное обучение ∙ 3 дня 3 часа назад ∙ 9 ставок |
Автоматизация маркетинг через ИИищу человека (не бота) который разбирается в AI агентах, умеет их строить. Под AI агентом я имею в виду: обработка входных данных, запрос на 1х ЛЛМ или похожуу AI модель, потенциальный запрос MCP или похожего, потенциальный запрос RAG системы обработка выходных данных И опыт… AI и машинное обучение ∙ 3 дня 4 часа назад ∙ 29 ставок |
Создание ИИ-АгентаНеобходимо создать AI-агента, который будет выполнять функции профессионального дизайнера упаковки для бренда спортивного питания. Агент должен помогать в разработке новых дизайнов продукции, создании маркировок и адаптации существующих макетов под различные рынки и… AI и машинное обучение, AI в дизайне ∙ 3 дня 5 часов назад ∙ 29 ставок |