Створити безпечну локальну AI систему (LLM, RAG та AI агенти)

Бюджет: 6000 UAH Термін: 14 днів

Привіт, Анастасіє,

Ось як я б це побудував і де я б заперечив специфікації.

Запропонований стек: Ollama, що обслуговує квантизовану відкриту модель (Qwen2.5 або Mistral, 7-14B залежно від вашого обладнання), Qdrant як векторне сховище, LlamaIndex для шару RAG, FastAPI для API, все в Docker Compose за Nginx. Інтеграція: PyMuPDF для PDF з Tesseract OCR лише на сторінках, які дійсно потребують цього (OCR на всьому є звичайною причиною, чому ці конвеєри повільні), python-docx і openpyxl для DOCX/XLSX, Whisper для транскрипцій. Видалення дублікатів за хешем вмісту, версіонування за ідентифікатором документа плюс ревізія, так що повторно завантажений файл замінює свої старі частини, а не подвоює їх.

Два пункти, які важливіші за вибір фреймворку. Цитати повинні повертатися як дані - ідентифікатори частин і вихідний файл, отримані з етапу вилучення, ніколи не запитуються у моделі в запиті. Модель, якій сказано цитувати, вигадуватиме цитати; конвеєр, який їх повертає, не може. І ізоляція клієнтів повинна бути в фільтрі запиту Qdrant, що забезпечується для кожного орендаря, а не в коді програми, де одна пропущена гілка витікає документи іншого клієнта.

Терміни та вартість, на основі етапів, як ви просили:

M1, 14 днів, сума пропозиції: LLM, що працює на вашому сервері, інтеграція для PDF/OCR/DOCX/TXT/XLSX, індекс Qdrant з видаленням дублікатів і версіонуванням, точка запиту FastAPI, що повертає цитовані джерела, розгортання Docker і документація з налаштування.
M2: агенти зустрічей - транскрипції, резюме, виділення дій - плюс веб-інтерфейс запиту.
M3: авторизація та ролі, ізоляція для кожного клієнта, валідація безпеки, налаштування продуктивності.

Повна оцінка M1-M3 22000-28000 грн. Я віддаю перевагу фіксованій ціні за етап замість погодинної, щоб ви отримали працюючу систему в кінці кожного з них, а не табель обліку робочого часу.

Прямо про портфоліо, яке ви запитували: наша оплачувана робота для клієнтів - це виробничий Python та автоматизація API на Linux VPS - інструмент звітності Google Ads API, Telegram-боти для живих бізнесів, поштової інфраструктури. Локальний LLM, RAG та багатокористувацька сторона, якою я займаюся щодня, - це система агентів, що самостійно хоститься з вилученням з власної бази документів. Я можу показати це в режимі реального часу на спільному екрані, щоб ви побачили, як працюють вилучення та цитати, перш ніж щось зобов'язатися.

Одне питання, яке визначає архітектуру: яке обладнання має цільовий сервер, CPU, RAM та GPU? Модель 7B на одному лише CPU відповідає за 10-20 секунд; на GPU 16 ГБ - менше двох. Без GPU я б підібрав модель до вашого обладнання і сказав би, яке обладнання варто купити, а не обіцяв би швидкість, яку вона не може забезпечити.

Петро Пankov, BotCraft Group Розгорнути

Бюджет: 18000 UAH Термін: 14 днів

Привіт, Анастасіє,
Основний ризик у цьому проєкті полягає в тому, що не підключено локальну мовну модель до векторної бази даних. Це забезпечення того, щоб обмеження доступу до документів, посилання на джерела, версії документів та ізоляція орендарів продовжували працювати правильно протягом імпорту, отримання та виконання агентом.
Я можу створити повну самостійно розгорнуту першу виробничу версію платформи, використовуючи Python, FastAPI, Docker Compose, локальний LLM-інтерфейс, Qdrant або еквівалентну векторну базу даних, а також LlamaIndex, де це забезпечує чітку перевагу.
Доставлена система буде включати:
Розгортання локального LLM на вашому VPS або виділеному сервері.
Імпорт документів для PDF, OCR-сторінок, DOCX, TXT, XLSX та стенограм зустрічей.
Хешування вмісту, метадані, видалення дублікатів, ревізії документів та повторна індексація.
Відповіді RAG з посиланнями на вихідний файл та частини, повернуті шаром отримання.
Обробка стенограм зустрічей, резюме, завдання та витяг знань клієнта.
Точки доступу FastAPI та простий веб-інтерфейс для завантаження документів та запитів знань.
Аутентифікація, ролі та ізольовані колекції документів для окремих клієнтів або відділів.
Розгортання Docker, ведення журналів, резервне копіювання, тести та написана документація з налаштування.
Мій практичний досвід включає розробку на Python, бази даних, REST API, автоматизацію, інтеграцію AI API, системи Telegram та з'єднання бізнес-програм з користувацькими додатками. Я не буду стверджувати про завершений публічний багатокористувацький випадок RAG, який не можу довести.
Протягом перших 72 годин я надам архітектуру, карту загроз і потоків даних, скелет Docker та працюючий локальний прототип, який імпортує один документ і повертає відповідь з перевіреним посиланням на джерело.
Фіксована ціна: 18 000 грн. Термін доставки: 14 календарних днів. Сервер, апаратура GPU, витрати на хостинг та платні ліцензії третіх сторін не включені. Робота та затвердження можуть бути оформлені в письмовій формі через робочий простір Freelancehunt. Розгорнути

Бюджет: 6000 UAH Термін: 2 дні

Доброго дня, готовий спроектувати та зібрати безпечну локальну ІІ-систему з LLM, RAG та агентами під ваші бізнес-процеси. Є досвід з Python backend, Node.js ботами, n8n та Hermes, для такої задачі Hermes вважаю найрелевантнішим варіантом. На Hermes можна зробити агента так, щоб ви в подальшому самі редагували логіку, інструкції та поведінку через чат у Telegram. Реалізація: підберу локальну модель, налаштую RAG за вашими даними, розмежую доступи та зберу базові агентні сценарії автоматизації. Якщо потрібен API або адмін-слой навколо системи, зроблю на FastAPI або Node.js. git: github.com/onyx144

Бюджет: 1000 UAH Термін: 15 днів

Частково так, як і з попереднім проектом. Ось що можеш запропонувати:

Привіт! Переглянув проект.

Можу закрити частину через n8n + OpenAI:

— RAG-логіка через OpenAI Assistants API з завантаженням документів (PDF, DOCX, TXT) — без локальної LLM, але швидко і надійно
- Агенти для обробки транскриптів зустрічей → автоматичне резюме + список задач
- Пайплайн завантаження документів і запитів до бази знань
- Простий веб-інтерфейс або Telegram бот для запитів
- API endpoint через n8n webhook

Чесно про обмеження: локальна LLM на VPS, векторні бази даних (Qdrant/Chroma) і Python-архітектура - це поза моїм стеком. Якщо критично мати self-hosted модель - я не той кандидат.

Якщо OpenAI-based рішення з повною приватністю через Assistants API вас влаштовує - можемо обговорити деталі. Розгорнути

Бюджет: 24000 UAH Термін: 50 днів

Привіт Анастасіє,

Я створюю цей стек. Мій власний проект — це десктопний AI-клієнт на Rust/Tauri — чотири протоколи постачальників LLM за одним інтерфейсом, рідний цикл виклику інструментів, локальний RAG на sqlite-vec з гібридним ключовим + семантичним пошуком, і граф корекційного RAG у Python-сайдкарі. Написано вручну, без LangChain. github.com/kamedashe

Перед тим, як я правильно зроблю ставку — чи є 700 грн реальним бюджетом чи це заповнювач? За обсягом, який ви описали, це виглядає як заповнювач, і я б краще запитав, ніж здогадувався.

І щоб бути відвертим щодо межі: я займаюся прикладним шаром — індексація, пошук, цитати, агенти, API навколо них. Я не керував GPU-інфраструктурою для компанії. Якщо самостійне хостинг моделі входить в обсяг, це окремий елемент.

Богдан

Бюджет: 700 UAH Термін: 3 дні

Вітаю, Anastasia.
Робив аналогічні проекти — знаю нюанси і зроблю саме те, що описано. Є кілька уточнень перед стартом.
Остаточна ціна/термін після всіх уточнень.

Профіль: Freelancehunt
Відгуки: Freelancehunt

Бюджет: 700 UAH Термін: 7 днів

Доброго дня, Anastasia!

У мене є досвід у розробці безпечних AI-систем, включаючи локальні LLM та RAG, що дозволяє створити ефективну платформу для автоматизації бізнес-процесів.

Розумію важливість безпеки та конфіденційності даних для вашого проекту. Маю досвід роботи з технологіями, які забезпечують надійну ізоляцію даних та контроль доступу.

Для створення ефективної стратегії пропоную спочатку ознайомитися з вашими вимогами та специфікацією проекту. Після цього я зможу підготувати план дій, включаючи етапи розробки та впровадження.

Попередня вартість моїх послуг становитиме від 400$ на місяць. Тривалість проекту залежатиме від складності, але зазвичай на реалізацію подібних рішень потрібно від 2 до 4 місяців.

В моєму портфоліо ви знайдете приклади реалізації подібних проектів, які підтверджують мою експертизу.

Пропоную обговорити деталі вашого проекту в приватних повідомленнях, щоб визначити подальші кроки та цілі. Розгорнути

Бюджет: 20000 UAH Термін: 90 днів

я вже маю майже готове подібне самостійно розгорнуте рішення з штучним інтелектом та rag, яке ми можемо адаптувати та швидко запустити... я онлайн і можу обговорити перший етап тут зараз ))

для повного обсягу виробництва фіксована оцінка становить 20000 доларів США і приблизно 90 днів

вказані 700 грн не можуть покрити цей обсяг... безпечний перший етап - архітектура та працюючий приватний прототип за 2400 доларів США за 5 робочих днів

чи повинна підтримка розгортання бути для однієї компанії чи окремих ізольованих клієнтських організацій?

яке серверне обладнання та очікуваний обсяг документів доступні?

https://business.ingello.com/en/fractal - багатокористувацька оркестрація та автоматизовані інженерні робочі процеси

https://business.ingello.com/en/vorfahr - система штучного інтелекту та saas з автоматизацією бізнесу

https://systems-fl.ingello.com/en - наша практика автоматизації штучного інтелекту та розробки програмного забезпечення Розгорнути

Бюджет: 700 UAH Термін: 14 днів

Анастасіє, здається, вам потрібна надійна, самостійно розгорнута архітектура, яка зберігає дані вашої компанії поза межами сторонніх хмар, забезпечуючи при цьому високоякісні відповіді через RAG. Щоб це реалізувати, я зосереджуся на налаштуванні стабільного контейнеризованого середовища з локальною LLM, інтеграції LlamaIndex для точного отримання документів та визначенні конкретних робочих процесів для ваших агентів, щоб ефективно обробляти транскрипти та внутрішні документи. Чи можете ви уточнити, які апаратні ресурси у вас є для сервера і скільки одночасних користувачів щодня буде отримувати доступ до системи?