### Техническое задание для разработчика
#### Название задания:
Интеграция ИИ-системы (GPT-4o + локальный Mistral) в роли краткосрочной и долгосрочной памяти
---
### Цель:
Создать систему, которая будет использовать:
- OpenAI GPT-4o API как оперативную (краткосрочную) память для быстрых ответов и выполнения оперативных задач.
- Локальную модель Mistral 7B (open-source LLM) как автономную аналитическую долгосрочную память, которая будет хранить весь контекст проекта, анализировать информацию и предоставлять её по запросу GPT-4o.
---
### Результат работы системы:
Система должна обеспечивать взаимодействие между двумя типами ИИ:
#### 1. GPT-4o (OpenAI API)
- Работает как краткосрочная память (оперативный анализ).
- Генерирует тексты, контент, отвечает на оперативные запросы.
- Если требуется информация за пределами контекста (128k токенов), GPT-4o должен автоматически отправлять запрос к локальной памяти (Mistral).
#### 2. Локальный сервер (Mistral 7B)
- Развёрнут на Linux (Ubuntu) с NVIDIA RTX 4090 (CUDA).
- Использует библиотеки PyTorch, HuggingFace Transformers.
- Хранит и анализирует информацию, полученную от GPT-4o или напрямую из текстов (**книги, цели проекта, криптовалюта, соцсети**).
- По запросу GPT-4o возвращает проанализированную информацию (ключевые тезисы, выводы, эмбеддинги).
---
### Алгоритм взаимодействия:
1. GPT-4o получает запрос.
2. Если хватает контекста — отвечает сразу.
3. Если информации не хватает — GPT-4o автоматически формирует запрос к локальной модели Mistral:
- Mistral анализирует данные в своей памяти.
- Возвращает ответ в виде тезисов или краткого текста.
4. GPT-4o интегрирует полученные данные в ответ пользователю.
---
### Необходимые интеграции и API:
- OpenAI API (GPT-4o)
- [API-ключи OpenAI](https://platform.openai.com/api-keys)
- API-запросы через Python или Node.js (**предпочтительно Python**).
- Mistral 7B (локально):
- [HuggingFace Transformers](https://huggingface.co/docs/transformers/index)
- [PyTorch](https://pytorch.org/)
- FastAPI или Flask для создания локального REST API сервера для взаимодействия.
- База данных для Mistral:
- ChromaDB или PostgreSQL (с использованием PGVector для хранения эмбеддингов).
---
### Технические требования:
- ОС: Linux Ubuntu 24.04 LTS
- GPU: NVIDIA RTX 4090
- RAM: 128 ГБ
- SSD: 2-4 ТБ (NVMe)
- Docker (желательно для развертывания)
---
### Ожидаемый результат:
✅ Полностью функциональная гибридная система GPT-4o + Mistral 7B.
✅ API-интерфейс для удобного формирования запросов и получения ответов.
✅ Стабильная работа с минимальной задержкой.
---
### Дополнительные пожелания:
- Реализовать мониторинг системы (**ресурсов, скорости ответа**).
- Упрощённая возможность масштабирования (добавление дополнительных моделей).
