Создание безопасной локальной ИИ-системы (LLM, RAG и ИИ-агенты)

Бюджет: 18000 UAH Срок: 21 день

Здравствуйте,

Прямо к делу, так как вы просили рекомендации, а не следования инструкциям.

Самостоятельный хостинг: vLLM для обслуживания модели (Ollama для меньшего объема), Qdrant в качестве векторного хранилища, LlamaIndex для загрузки и извлечения. Qdrant важен для вашего требования изоляции: область арендатора становится фильтром полезной нагрузки внутри самого запроса, так что документы одного клиента не могут появиться в ответе другого клиента, даже если в прикладном уровне есть ошибка. Загрузка: PyMuPDF для текстовых PDF с резервным вариантом Tesseract OCR для сканов, python-docx и openpyxl для DOCX и XLSX, дедупликация по хешу содержимого, doc_id плюс ревизия для версионирования. FastAPI за JWT, каждый ответ возвращает исходный документ, страницу и фрагмент, чтобы можно было проверить цитату. Docker Compose плюс руководство по развертыванию.

Что касается нас, честно. Производственный Python, FastAPI, Docker и работа с серверами Linux, выполненные на серверах клиентов: пять завершенных проектов здесь, средний рейтинг 10 из 10, никаких отрицательных отзывов. Мы ежедневно запускаем нашу собственную автоматизацию LLM-агента в производстве, поэтому оркестрация агентов и режимы отказа этих систем — это повседневная работа, а не теория. У нас также есть публичный отчет о семи объединенных запросах на внесение изменений в сторонние проекты с открытым исходным кодом, в основном инструмент безопасности на Go с 173 звездами, каждый из которых был рассмотрен и принят сопровождающими. Что я не буду делать, так это утверждать, что у нас есть выпущенная производственная платформа RAG для клиента. Мы строим с этими фреймворками, но я не собираюсь выдумывать кейс-стадии, чтобы выиграть тендер.

Так что уменьшите риски, вместо того чтобы полагаться на мое слово. Этап 1: локальный LLM, работающий на вашем сервере, загрузка для PDF с OCR, DOCX, TXT, XLSX, индекс Qdrant с дедупликацией и версионированием, и конечная точка FastAPI, отвечающая на вопросы по вашим реальным документам с цитатами. Три недели, фиксированная цена 18000 UAH. В итоге вы получите что-то, что сможете протестировать на своей базе знаний, прежде чем принимать дальнейшие решения. Этап 2 (обработка транскриптов, резюме, действия) и Этап 3 (разрешения, усиление изоляции, веб-интерфейс) я оценю после Этапа 1, когда будут известны реальные объемы. Предпочтительна фиксированная цена за этап; почасовая оплата возможна для открытых исследований.

Один вопрос, который действительно меняет архитектуру: какой сервер - GPU и VRAM или только CPU? Это решает, получите ли вы реалистично модель класса 7-8B или что-то большее, и это самый большой фактор качества ответа. Также полезно: примерно сколько арендаторов-клиентов и сколько документов на запуск.

Петро Панков, BotCraft Group Развернуть

Бюджет: 20000 UAH Срок: 21 день

Я создал производственные документные конвейеры и API-слои на основе рабочих процессов встраивания, поэтому сторона RAG этого проекта (ввод документов, разбиение на части, дедупликация, тегирование метаданных) напрямую соответствует выполненной мной работе, а не теории. Я развернул конвейеры на основе LlamaIndex с Qdrant в качестве векторного хранилища и интегрировал локальные LLM через Ollama, включая слой источников-ссылок, который вы упомянули как защиту от галлюцинаций.

Для слоя агентов я создал рабочие процессы, которые обрабатывают стенограммы встреч, извлекают пункты действий и направляют результаты в downstream-системы, все это за FastAPI-эндпоинтами с обеспечением изоляции данных для каждого клиента на этапе извлечения, а не только на уровне API.

Моя основная специализация — это полностековые сервисы на TypeScript и Python, поэтому я также могу покрыть легкий веб-интерфейс для запроса базы знаний, если это необходимо. Я комфортно работаю с настройкой серверов на Linux и развертывал самохостингованные стеки в VPS-средах с нуля.

Буду рад пройтись по вашей текущей инфраструктуре и наметить конкретную архитектуру для слоев ввода и агентов.

Бюджет: 700 UAH Срок: 4 дня

Здравствуйте, я нахожусь в ТОП 10 фрилансеров платформы, такие проекты уже выполнял, сделаю быстро, качественно и недорого.

Бюджет: 3600 UAH Срок: 3 дня

Какой объем документов и нагрузку от одновременных пользователей должна обрабатывать система? Это определяет выбор между самохостингом Qdrant или более легким Chroma, а также какой локальной модели подходит вашему VPS, только с CPU или с GPU.

Я бы развернул Dockerized FastAPI сервисы: LlamaIndex плюс Qdrant для RAG, OCR через Tesseract для отсканированных PDF, отдельные агенты для резюме транскрипций и пунктов действий, контроль доступа на основе метаданных, ответы с указанием источников.

Подход с этапами хорошо подходит: первый этап, API для загрузки и извлечения, будет готов примерно через 3 дня для обзора.

Бюджет: 20000 UAH Срок: 14 дней

Анастасия, настройка локальной, изолированной среды LLM имеет решающее значение для обеспечения строгой конфиденциальности чувствительных бизнес-данных, исключая сторонние API. Я сосредоточен на создании устойчивых RAG-пайплайнов и развертывании локализованных движков вывода, которые придают приоритет как конфиденциальности данных, так и высокой точности извлечения для вашего конкретного рабочего процесса с документацией. Чтобы правильно настроить инфраструктуру, есть ли у вас предпочтения по хостинг-среде или конкретным аппаратным требованиям, таким как объем памяти GPU, для обработки вашего предполагаемого объема документов?