### Techniczne zadanie dla dewelopera
#### Nazwa zadania:
Integracja systemu AI (GPT-4o + lokalny Mistral) w roli pamięci krótkoterminowej i długoterminowej
---
### Cel:
Stworzyć system, który będzie wykorzystywał:
- OpenAI GPT-4o API jako pamięć operacyjną (krótkoterminową) do szybkich odpowiedzi i realizacji zadań operacyjnych.
- Lokalny model Mistral 7B (open-source LLM) jako autonomiczną analityczną pamięć długoterminową, która będzie przechowywać cały kontekst projektu, analizować informacje i dostarczać je na żądanie GPT-4o.
---
### Wynik działania systemu:
System powinien zapewniać interakcję między dwoma typami AI:
#### 1. GPT-4o (OpenAI API)
- Działa jako pamięć krótkoterminowa (analiza operacyjna).
- Generuje teksty, treści, odpowiada na zapytania operacyjne.
- Jeśli potrzebne są informacje poza kontekstem (128k tokenów), GPT-4o powinien automatycznie wysyłać zapytanie do lokalnej pamięci (Mistral).
#### 2. Lokalny serwer (Mistral 7B)
- Rozwinięty na Linuxie (Ubuntu) z NVIDIA RTX 4090 (CUDA).
- Używa bibliotek PyTorch, HuggingFace Transformers.
- Przechowuje i analizuje informacje uzyskane od GPT-4o lub bezpośrednio z tekstów (**książki, cele projektu, kryptowaluta, media społecznościowe**).
- Na żądanie GPT-4o zwraca przeanalizowane informacje (kluczowe tezy, wnioski, embeddingi).
---
### Algorytm interakcji:
1. GPT-4o otrzymuje zapytanie.
2. Jeśli kontekst jest wystarczający — odpowiada od razu.
3. Jeśli informacji brakuje — GPT-4o automatycznie formułuje zapytanie do lokalnego modelu Mistral:
- Mistral analizuje dane w swojej pamięci.
- Zwraca odpowiedź w postaci tez lub krótkiego tekstu.
4. GPT-4o integruje uzyskane dane w odpowiedzi dla użytkownika.
---
### Wymagane integracje i API:
- OpenAI API (GPT-4o)
- [API-klucze OpenAI](https://platform.openai.com/api-keys)
- API-zapytania przez Python lub Node.js (**preferowany Python**).
- Mistral 7B (lokalnie):
- [HuggingFace Transformers](https://huggingface.co/docs/transformers/index)
- [PyTorch](https://pytorch.org/)
- FastAPI lub Flask do stworzenia lokalnego serwera REST API do interakcji.
- Baza danych dla Mistral:
- ChromaDB lub PostgreSQL (z użyciem PGVector do przechowywania embeddingów).
---
### Wymagania techniczne:
- OS: Linux Ubuntu 24.04 LTS
- GPU: NVIDIA RTX 4090
- RAM: 128 GB
- SSD: 2-4 TB (NVMe)
- Docker (zalecany do wdrożenia)
---
### Oczekiwany wynik:
✅ W pełni funkcjonalny hybrydowy system GPT-4o + Mistral 7B.
✅ Interfejs API do wygodnego formułowania zapytań i uzyskiwania odpowiedzi.
✅ Stabilna praca z minimalnym opóźnieniem.
---
### Dodatkowe życzenia:
- Zrealizować monitoring systemu (**zasobów, prędkości odpowiedzi**).
- Uproszczona możliwość skalowania (dodawanie dodatkowych modeli).
