Запуск локальной LLM llama.cpp + анализ внимания и активаций (Windows)
Необходимо установить готовую модель llm и софт к ней.
для того чтобы:
✅ запускать локальную LLM (без интернета)
✅ видеть attention heatmaps
✅ смотреть logits
✅ видеть активации слоев
✅ управлять параметрами генерации
✅ анализировать внутреннюю работу модели
Софт, который необходимо установить, чтобы это все работало:
- CMake
- Git
- Visual Studio Build Tools
- Python
Инструкция по установке есть, нужна помощь с реализацией этой задачи. Цену предлагайте
-
2181 10 0 Могу помочь вам с установкой данного софта. Python, Git, VS сам часто использую в работе, поэтому могу помочь решить проблемы с установкой. CMake не так часто, однако установить тоже не проблема. LLM предлагаю запускать через Ollama утилиту - можно довольно удобно под себя подогнать и есть доступ ко многим моделям бесплатно.
Подскажите, вас интересует только установка или дополнительно нужно еще реализовать какую-то программу поверх LLM? Если нужна дополнительная программа, напишите, пожалуйста, подробнее о ее цели и желаемом функционале в личные сообщения. Спасибо!
-
46 Могу установить и запустить llama.cpp на Windows. Сделаю сегодня.
Актуальные фриланс-проекты в категории AI и машинное обучение
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 12 часов 34 минуты назад ∙ 23 ставки |
Інтеграція в CRM модулів сканерів стоматологій
27 000 UAH
Мы разработали CRM систему для взаимодействия с зубными врачами и лабораториями. Нужно интегрировать сервисы iTero, sirona, medit и др чтобы подтягивались файлы автоматически AI и машинное обучение, Java ∙ 14 часов 20 минут назад ∙ 14 ставок |
Создать команду AI агентовХочу создавать себе команду AI агентов, которые будут помогать в повседневной жизни, контролировать бизнес процессы, анализировать отчеты и тд. AI и машинное обучение ∙ 16 часов 41 минута назад ∙ 20 ставок |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 17 часов 59 минут назад ∙ 31 ставка |
Разработка AI-агента по продажам для интернет-магазина на PrestaShop 1.6 с интеграцией KeyCRMИщем разработчика или небольшую команду для создания AI-консультанта по продажам для интернет-магазина учебной литературы. Сайт работает на PrestaShop 1.6, CRM — KeyCRM. Нужен не обычный чат-бот с готовыми ответами, а AI-продавец, который поможет клиенту подобрать нужные книги и… AI и машинное обучение, Интернет-магазины и электронная коммерция ∙ 23 часа 14 минут назад ∙ 36 ставок |