Создание безопасной локальной ИИ-системы (LLM, RAG и ИИ-агенты)

Бюджет: 6000 UAH Срок: 14 дней

Здравствуйте, Анастасия,

Вот как я бы это построил и где я бы оспорил спецификацию.

Предлагаемый стек: Ollama, обслуживающий квантованный открытый модель (Qwen2.5 или Mistral, 7-14B в зависимости от вашего оборудования), Qdrant в качестве векторного хранилища, LlamaIndex для слоя RAG, FastAPI для API, все в Docker Compose за Nginx. Ингестация: PyMuPDF для PDF с Tesseract OCR только на страницах, где это действительно необходимо (OCR на всем — это обычная причина, по которой эти пайплайны работают медленно), python-docx и openpyxl для DOCX/XLSX, Whisper для транскрипций. Удаление дубликатов по хешу содержимого, версионирование по идентификатору документа плюс ревизия, так что повторно загруженный файл заменяет свои старые части вместо удвоения их.

Два момента, которые важнее выбора фреймворка. Цитаты должны возвращаться как данные - идентификаторы частей и исходный файл, разрешенный на этапе извлечения, никогда не запрашиваемые у модели в запросе. Модель, которой сказано цитировать, будет выдумывать цитаты; пайплайн, который их возвращает, не может. А изоляция клиентов должна находиться в фильтре запросов Qdrant, обеспечиваемом для каждого арендатора, а не в коде приложения, где одна пропущенная ветка может утечь документы другого клиента.

Сроки и стоимость, поэтапно, как вы просили:

M1, 14 дней, сумма ставки: LLM, работающий на вашем сервере, ингестация для PDF/OCR/DOCX/TXT/XLSX, индекс Qdrant с удалением дубликатов и версионированием, конечная точка запроса FastAPI, возвращающая цитируемые источники, развертывание Docker и документация по настройке.
M2: агенты встреч - транскрипции, резюме, извлечение действий - плюс веб-интерфейс запроса.
M3: аутентификация и роли, изоляция по клиентам, проверка безопасности, настройка производительности.

Полная оценка M1-M3 22000-28000 UAH. Я предпочитаю фиксированную цену за этап, а не почасовую, чтобы вы получили работающую систему в конце каждого этапа, а не табель учета рабочего времени.

Прямо о портфолио, о котором вы спрашивали: наша оплаченная работа для клиентов - это производственный Python и автоматизация API на Linux VPS - инструмент отчетности Google Ads API, Telegram-боты для живых бизнесов, почтовая инфраструктура. Локальный LLM, RAG и многопользовательская сторона, которую я веду в доме ежедневно, это система агентов с собственным хранилищем документов. Я могу показать это вживую на совместном экране, чтобы вы увидели, как работают извлечение и цитаты, прежде чем что-либо подтверждать.

Один вопрос, который определяет архитектуру: какое CPU, RAM и GPU есть на целевом сервере? Модель 7B на одном только CPU отвечает за 10-20 секунд; на 16GB GPU - менее двух. Без GPU я бы подобрал модель под ваше оборудование и сказал, какое оборудование стоит купить, а не обещал скорость, которую оно не может обеспечить.

Петро Паньков, BotCraft Group Развернуть

Бюджет: 18000 UAH Срок: 14 дней

Здравствуйте, Анастасия,
Основной риск в этом проекте заключается в том, что не подключен локальный языковой модель к векторной базе данных. Важно обеспечить, чтобы ограничения доступа к документам, ссылки на источники, версии документов и изоляция арендаторов продолжали работать корректно на протяжении всего процесса загрузки, извлечения и выполнения агентом.
Я могу создать полную самостоятелную первую производственную версию платформы, используя Python, FastAPI, Docker Compose, локальное время выполнения LLM, Qdrant или эквивалентную векторную базу данных и LlamaIndex, где это дает явное преимущество.
Доставленная система будет включать:
Развертывание локального LLM на вашем VPS или выделенном сервере.
Загрузку документов для PDF, OCR страниц, DOCX, TXT, XLSX и стенограмм встреч.
Хеширование контента, метаданные, дедупликацию, ревизии документов и повторную индексацию.
Ответы RAG с ссылками на исходные файлы и фрагменты, возвращаемые слоем извлечения.
Обработку стенограмм встреч, резюме, пункты действий и извлечение знаний клиента.
Эндпоинты FastAPI и простой веб-интерфейс для загрузки документов и запросов знаний.
Аутентификацию, роли и изолированные коллекции документов для отдельных клиентов или отделов.
Развертывание Docker, ведение журналов, резервное копирование, тесты и написанная документация по настройке.
Мой практический опыт включает разработку на Python, базы данных, REST API, автоматизацию, интеграции AI API, системы Telegram и соединение бизнес-программного обеспечения с пользовательскими приложениями. Я не буду утверждать о завершенном публичном многопользовательском случае RAG, который не могу доказать.
В течение первых 72 часов я предоставлю архитектуру, карту угроз и потоков данных, скелет Docker и работающий локальный прототип, который импортирует один документ и возвращает ответ с проверенной ссылкой на источник.
Фиксированная цена: 18,000 UAH. Срок доставки: 14 календарных дней. Сервер, оборудование GPU, хостинг и оплаченные лицензии третьих сторон не включены. Работа и утверждения могут быть оформлены в письменном виде через рабочее пространство Freelancehunt. Развернуть

Бюджет: 6000 UAH Срок: 2 дня

Здравствуйте, готов спроектировать и собрать безопасную локальную ИИ-систему с LLM, RAG и агентами под ваши бизнес-процессы.
Есть опыт с Python backend, Node.js ботами, n8n и Hermes, для такой задачи Hermes считаю самым релевантным вариантом.
На Hermes можно сделать агента так, чтобы вы в дальнейшем сами редактировали логику, инструкции и поведение через чат в Telegram.
Реализация: подберу локальную модель, настрою RAG по вашим данным, разграничу доступы и соберу базовые агентные сценарии автоматизации.
Если нужен API или админ-слой вокруг системы, сделаю на FastAPI или Node.js.
git: github.com/onyx144

Бюджет: 1000 UAH Срок: 15 дней

Частично так, как и с предыдущим проектом. Вот что можешь предложить:

Привет! Просмотрел проект.

Могу закрыть часть через n8n + OpenAI:

— RAG-логика через OpenAI Assistants API с загрузкой документов (PDF, DOCX, TXT) — без локальной LLM, но быстро и надежно
- Агенты для обработки транскриптов встреч → автоматическое резюме + список задач
- Пайплайн загрузки документов и запросов к базе знаний
- Простой веб-интерфейс или Telegram бот для запросов
- API endpoint через n8n webhook

Честно о ограничениях: локальная LLM на VPS, векторные базы данных (Qdrant/Chroma) и Python-архитектура - это вне моего стека. Если критично иметь self-hosted модель - я не тот кандидат.

Если OpenAI-based решение с полной приватностью через Assistants API вас устраивает - можем обсудить детали. Развернуть

Бюджет: 24000 UAH Срок: 50 дней

Привет, Анастасия,

Я создаю этот стек. Мой собственный проект — это настольный AI-клиент на Rust/Tauri — четыре протокола поставщиков LLM за одним интерфейсом, нативный цикл вызова инструментов, локальный RAG на sqlite-vec с гибридным ключевым + семантическим поиском и график корректирующего RAG в Python-сайдкаре. Написано вручную, без LangChain. github.com/kamedashe

Прежде чем я сделаю ставку — 700 UAH это реальный бюджет или временный? По описанному объему это звучит как временный, и я предпочел бы спросить, чем догадываться.

И чтобы быть честным по поводу границ: я занимаюсь прикладным уровнем — индексацией, поиском, цитированием, агентами, API вокруг них. Я не управлял GPU-инфраструктурой для компании. Если саморазмещение модели входит в объем, это отдельная часть.

Богдан

Бюджет: 700 UAH Срок: 3 дня

Здравствуйте, Anastasia.
Делал аналогичные проекты — знаю нюансы и сделаю именно то, что описано. Есть несколько уточнений перед стартом.
Окончательная цена/срок после всех уточнений.

Профиль: Freelancehunt
Отзывы: Freelancehunt

Бюджет: 700 UAH Срок: 7 дней

Доброго дня, Анастасія!

У меня есть опыт в разработке безопасных AI-систем, включая локальные LLM и RAG, что позволяет создать эффективную платформу для автоматизации бизнес-процессов.

Понимаю важность безопасности и конфиденциальности данных для вашего проекта. Имею опыт работы с технологиями, которые обеспечивают надежную изоляцию данных и контроль доступа.

Для создания эффективной стратегии предлагаю сначала ознакомиться с вашими требованиями и спецификацией проекта. После этого я смогу подготовить план действий, включая этапы разработки и внедрения.

Предварительная стоимость моих услуг составит от 400$ в месяц. Продолжительность проекта будет зависеть от сложности, но обычно на реализацию подобных решений требуется от 2 до 4 месяцев.

В моем портфолио вы найдете примеры реализации подобных проектов, которые подтверждают мою экспертизу.

Предлагаю обсудить детали вашего проекта в приватных сообщениях, чтобы определить дальнейшие шаги и цели. Развернуть

Бюджет: 20000 UAH Срок: 90 дней

у меня уже есть почти готовое аналогичное решение с саморазмещаемым ИИ и rag, которое мы можем адаптировать и быстро запустить... я онлайн и могу обсудить первый этап здесь сейчас ))

для полного объема производства фиксированная оценка составляет 20000 долларов США и около 90 дней

указанные 700 грн не могут покрыть этот объем... безопасный первый этап — архитектура и работающий частный прототип за 2400 долларов США за 5 рабочих дней

должна ли поддержка развертывания быть для одной компании или отдельных изолированных клиентских организаций?

какое серверное оборудование и ожидаемый объем документов доступны?

https://business.ingello.com/en/fractal - многоагентская оркестрация и автоматизированные инженерные рабочие процессы

https://business.ingello.com/en/vorfahr - производственный ИИ и система SaaS с автоматизацией бизнеса

https://systems-fl.ingello.com/en - наша практика автоматизации ИИ и разработки программного обеспечения на заказ Развернуть

Бюджет: 700 UAH Срок: 14 дней

Анастасия, похоже, вам нужна надежная, самостоятелно размещенная архитектура, которая сохраняет данные вашей компании вне облаков третьих сторон, обеспечивая при этом высококачественные ответы через RAG. Чтобы это реализовать, я сосредоточусь на настройке стабильной контейнеризованной среды с локальной LLM, интеграции LlamaIndex для точного извлечения документов и определении конкретных рабочих процессов для ваших агентов, чтобы эффективно обрабатывать транскрипты и внутренние документы. Можете уточнить, какие аппаратные ресурсы у вас есть для сервера и сколько одновременно пользователей будет ежедневно обращаться к системе?