Бюджет: 18000 UAH Термін: 21 день
Привіт,
Прямо до справи, оскільки ви просили рекомендації, а не слідування інструкціям.
Самостійно: vLLM для обслуговування моделі (Ollama для легшого навантаження), Qdrant як векторне сховище, LlamaIndex для завантаження та отримання. Qdrant важливий для вашої вимоги ізоляції: обмеження орендаря стає фільтром навантаження всередині самого запиту, тому документи одного клієнта не можуть з'явитися у відповіді іншого клієнта, навіть якщо в прикладному шарі є помилка. Завантаження: PyMuPDF для текстових PDF з резервним Tesseract OCR для сканів, python-docx та openpyxl для DOCX та XLSX, дедуплікація за хешем вмісту, doc_id плюс ревізія для версійності. FastAPI за допомогою JWT, кожна відповідь повертає вихідний документ, сторінку та частину, щоб цитування можна було перевірити. Docker Compose плюс посібник з розгортання.
Про нас, чесно. Виробництво Python, FastAPI, Docker та робота з серверами Linux, виконана на серверах клієнтів: п’ять завершених проектів тут, середня оцінка 10 з 10, жодних негативних відгуків. Ми щодня запускаємо власну автоматизацію LLM-агента в продукції, тому оркестрація агентів та режими відмови цих систем є щоденною роботою, а не теорією. У нас також є публічний запис з семи об'єднаних запитів на внесення змін у сторонні проекти з відкритим кодом, переважно інструмент безпеки Go з 173 зірками, кожен з яких був переглянутий та прийнятий утримувачами. Те, що я не буду робити, це стверджувати, що ми доставили платформу RAG для клієнта. Ми будуємо з цими фреймворками, але я не збираюся вигадувати кейс-стаді для виграшу тендеру.
Отже, зменште ризики, замість того, щоб покладатися на моє слово. Етап 1: локальний LLM, що працює на вашому сервері, завантаження для PDF з OCR, DOCX, TXT, XLSX, індекс Qdrant з дедуплікацією та версійністю, та точка доступу FastAPI, що відповідає на запитання за вашими реальними документами з цитуваннями. Три тижні, 18000 грн фіксовано. Ви отримаєте щось, що зможете протестувати на основі вашої власної бази знань перед подальшими зобов'язаннями. Етап 2 (обробка транскриптів, резюме, дії) та Етап 3 (дозволи, зміцнення ізоляції, веб-інтерфейс) я оціню після Етапу 1, коли будуть відомі реальні обсяги. Фіксована ціна за етапом бажана; погодинна оплата можлива для відкритих досліджень.
Одне питання, яке дійсно змінює архітектуру: що за сервер - GPU та VRAM, чи тільки CPU? Це вирішує, чи реально ви отримаєте модель класу 7-8B або щось більше, і це найбільший єдиний фактор у якості відповіді. Також корисно: приблизно скільки орендарів-клієнтів і скільки документів на старті.
Петро Панков, BotCraft Group
