Автономна AI RAG-система з векторною базою знань
Спроектував та реалізував з нуля асинхронну RAG-систему (Retrieval-Augmented Generation) для інтелектуального аналізу та пошуку за складною технічною документацією чи внутрішніми базами знань компанії.
Що реалізовано в проєкті:
• Асинхронний бекенд: Високопродуктивний API на FastAPI з runtime-валідацією вхідних даних через Pydantic v2.
• Векторне ядро: Нативний семантичний пошук у базі даних Qdrant за метрикою косинусного сходства за допомогою локальних ембеддингів (розмірність вектору — 384, float32).
• Оркестрація ШІ: Логіка роботи агента побудована на базі графових структур LangGraph (StateGraph) з єдиним потокобезпечним станом, що дозволяє легко додавати цикли перегенерації чи вузли валідації відповідей.
• Стратегія чанкування: Впроваджено інтелектуальну нарізку тексту на чанки (400 символів) із перекриттям (overlap у 100 символів), що повністю ліквідувало втрату контексту на стиках речень та усунуло галюцинації моделі.
Система гнучка: може працювати як з локальними моделями (через Ollama), так і з хмарними API (Gemini, Claude, OpenAI). Уся інфраструктура повністю контейнеризована за допомогою Docker Compose та готова до деплою на сервер.
Що реалізовано в проєкті:
• Асинхронний бекенд: Високопродуктивний API на FastAPI з runtime-валідацією вхідних даних через Pydantic v2.
• Векторне ядро: Нативний семантичний пошук у базі даних Qdrant за метрикою косинусного сходства за допомогою локальних ембеддингів (розмірність вектору — 384, float32).
• Оркестрація ШІ: Логіка роботи агента побудована на базі графових структур LangGraph (StateGraph) з єдиним потокобезпечним станом, що дозволяє легко додавати цикли перегенерації чи вузли валідації відповідей.
• Стратегія чанкування: Впроваджено інтелектуальну нарізку тексту на чанки (400 символів) із перекриттям (overlap у 100 символів), що повністю ліквідувало втрату контексту на стиках речень та усунуло галюцинації моделі.
Система гнучка: може працювати як з локальними моделями (через Ollama), так і з хмарними API (Gemini, Claude, OpenAI). Уся інфраструктура повністю контейнеризована за допомогою Docker Compose та готова до деплою на сервер.