### Технічне завдання для розробника
#### Назва завдання:
Інтеграція ІІ-системи (GPT-4o + локальний Mistral) в ролі короткочасної та довгострокової пам'яті
---
### Мета:
Створити систему, яка буде використовувати:
- OpenAI GPT-4o API як оперативну (короткочасну) пам'ять для швидких відповідей та виконання оперативних завдань.
- Локальну модель Mistral 7B (open-source LLM) як автономну аналітичну довгострокову пам'ять, яка буде зберігати весь контекст проєкту, аналізувати інформацію та надавати її за запитом GPT-4o.
---
### Результат роботи системи:
Система повинна забезпечувати взаємодію між двома типами ІІ:
#### 1. GPT-4o (OpenAI API)
- Працює як короткочасна пам'ять (оперативний аналіз).
- Генерує тексти, контент, відповідає на оперативні запити.
- Якщо потрібна інформація за межами контексту (128k токенів), GPT-4o повинен автоматично надсилати запит до локальної пам'яті (Mistral).
#### 2. Локальний сервер (Mistral 7B)
- Розгорнутий на Linux (Ubuntu) з NVIDIA RTX 4090 (CUDA).
- Використовує бібліотеки PyTorch, HuggingFace Transformers.
- Зберігає та аналізує інформацію, отриману від GPT-4o або безпосередньо з текстів (**книги, цілі проєкту, криптовалюта, соцмережі**).
- За запитом GPT-4o повертає проаналізовану інформацію (ключові тези, висновки, ембеддинги).
---
### Алгоритм взаємодії:
1. GPT-4o отримує запит.
2. Якщо вистачає контексту — відповідає одразу.
3. Якщо інформації не вистачає — GPT-4o автоматично формує запит до локальної моделі Mistral:
- Mistral аналізує дані у своїй пам'яті.
- Повертає відповідь у вигляді тез або короткого тексту.
4. GPT-4o інтегрує отримані дані у відповідь користувачу.
---
### Необхідні інтеграції та API:
- OpenAI API (GPT-4o)
- [API-ключі OpenAI](https://platform.openai.com/api-keys)
- API-запити через Python або Node.js (**бажано Python**).
- Mistral 7B (локально):
- [HuggingFace Transformers](https://huggingface.co/docs/transformers/index)
- [PyTorch](https://pytorch.org/)
- FastAPI або Flask для створення локального REST API сервера для взаємодії.
- База даних для Mistral:
- ChromaDB або PostgreSQL (з використанням PGVector для зберігання ембеддингов).
---
### Технічні вимоги:
- ОС: Linux Ubuntu 24.04 LTS
- GPU: NVIDIA RTX 4090
- RAM: 128 ГБ
- SSD: 2-4 ТБ (NVMe)
- Docker (бажано для розгортання)
---
### Очікуваний результат:
✅ Повністю функціональна гібридна система GPT-4o + Mistral 7B.
✅ API-інтерфейс для зручного формування запитів та отримання відповідей.
✅ Стабільна робота з мінімальною затримкою.
---
### Додаткові побажання:
- Реалізувати моніторинг системи (**ресурсів, швидкості відповіді**).
- Спрощена можливість масштабування (додавання додаткових моделей).
