Задеплоить AI модель
Техническое задание
Проект: Развертывание и интеграция ИИ-модели Vicuna-33B с API для генерации "chat compilation".
Задачи:
Выбор сервера:
- Соответствие техническим требованиям модели Vicuna-33B.
- Оценка стоимости и безопасности.
Развертывание модели:
- Установка необходимого ПО.
- Конфигурация и тестирование модели.
Разработка API:
- Поддержка RESTful API для модели.
- Реализация методов для генерации текста.
- Обеспечение безопасности API.
Функция "chat compilation":
- Разработка логики компиляции чатов.
- Интеграция функции в API.
Критерии приемки:
- Модель Vicuna-33B успешно развернута и доступна через API.
- API поддерживает генерацию "chat compilation".
Можно использовать готовые решения такие как fastchat или подобные.
Так же api должен быть асинхронным, для параллельной генерации через апи.
-
14 дней10 000 UAH
223 2 0 14 дней10 000 UAH
Доброго дня .
Работал с разработкой и деплоей моделей.
Я деплоировал через FastAPI и докер контейнер.
В вашем случае можно было бы сделать через AWS SageMaker, так как я ранее уже имел некоторое опыт с ним. Не будет проблем также сделать сервис на RestAPI
Мне понадобится некоторое время, чтобы лучше ознакомиться с документацией по модели.
Буду рад вам помочь!
-
7 дней8500 UAH
1970 45 3 1 7 дней8500 UAH
Напишу на Python нужные функции.
Cделаю все качественно и всегда нахожусь на связи. Буду рад сотрудничеству с вами!
-
Добрый день.
Спасибо за нормальное ТЗ, я наконец-то его увидел.
Кажется, второй за время на сервисе.
По вашему заданию: особых проблем не вижу, но нужно уточнить ряд деталей:
- Сроки
- Ориентировочный бюджет
- Особые требования: масштабируемость, прокси, регион
Спасибо еще раз.
С уважением, Сергей
-
Добрый день
Сроки и примерный бюджет хотелось бы получить от исполнителя.
По особым требованиям, в идеале разместить сервер в Европе.
-
Принято, тогда наверное Amazon S3/4 - самій надежный вариант.
Я пойду почитаю документацию и сформирую ставку, где-то 2-3 часа.
Если за это время выберете другого исполнителя - проинформируйте, дабы я не тратил свое немногочисленное рабочее время зря.
Спасибо.
-
Договорились
-
дополнительный вариант
https://www.reddit.com/r/LocalLLaMA/comments/15iyacr/running_vicuna_models_serverless_on_banana/
по предполагаемой оценке стоимости:на документакцию я потратил пару часов. в Европе работник руками получает 14 евро в час. (да, цены у нас немного конские). чтение и понимание относятся к квалифицированному труд. ков
ыряние с кодом займет 2-3 дян по 2-3 часа.
можно уменьшить до чаки кофе, мод разуть до цистерны водки, с вашей финансовой ситуакией я не знаком.
-
Актуальные фриланс-проекты в категории Python
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 10 минут назад ∙ 1 ставка |
Автоматизация процессоів через API и PhytonНиже описал текущий процесс и то, к какому результату хотелось бы прийти. Также прикладіваю файлы реалтного процесса чтобы лучше понять как он выглядит в ревльности Текущий процесс Сейчас весь процесс выполняется вручную: загрузка/выгрузка файлов, перенос данных между… AI и машинное обучение, Python ∙ 1 час 11 минут назад ∙ 16 ставок |
Необходимо создать бота в ТГ для оплаты подписки.
2000 UAH
Необходимо создать бота в телеграме, где пользователь сможет оформить подписку на доступ к веб-камерам, которые находятся во дворе. Организовать в боте оплату двух видов подписок (на месяц и на один день). Бот должен автоматически проверять оплату и после выдавать ссылку-доступа. Python, Разработка ботов ∙ 13 часов 57 минут назад ∙ 67 ставок |
Парсинг и классификация большого массива изображенийНеобходимо реализовать проект по сбору и структурированию большого массива архитектурных изображений из открытых веб-источников.Задача включает: автоматизированный сбор изображений; загрузка файлов в максимально доступном качестве; классификацию изображений по категориям:… Python, Парсинг данных ∙ 20 часов 57 минут назад ∙ 30 ставок |
Бизнес-логикa платформы: подтверждение занятий, контроль посещаемости-и история уроков (DjangoДоработка бизнес-логики образовательной платформы: подтверждение занятий, контроль посещаемости и история уроков (Django + React) Необходимо реализовать полноценную систему подтверждения уроков, контроля посещаемости и хранения истории подтверждений. Важно Перед началом… Python ∙ 3 дня 2 часа назад ∙ 29 ставок |
Аккерман