Wideo Avatar na bazie RAG + D–ID + Chat GPT

X Avatar — strona, na której użytkownik komunikuje się z wideo-awatarem X (jego cyfrową kopią). Awatar odpowiada głosem i na wideo (przez D-ID), wykorzystuje AI do odpowiedzi RAG (przez ChatGPT API) i łączy się z bazą wiedzy, zebranej z materiałów klienta + niektórych zewnętrznych źródeł.

Obecnie niezwykle ważne jest zrozumienie twojego zakresu budżetu i terminów: od – do + jak widzisz realizację projektu.

Główne obszary pracy:

ODTWARZACZ WIDEO – Do naszego zadania musimy opracować pełnoprawny, niestandardowy odtwarzacz, który będzie mógł wszystko wspólnie połączyć. Wszystkie funkcje, które będą nam potrzebne.

RAG – Musimy nauczyć awatara z dwóch źródeł. Pierwsze źródło to nasze publiczne źródło przez API. Drugie źródło to niektóre strony, z których musimy wyciągać informacje za pomocą Perplexity.

D-ID - To narzędzie daje nam już gotowego awatara. To znaczy, że będziemy mieli już gotowego awatara, tam już osobno wykonuje się zadanie, i do tego awatara będzie można się podłączyć. stworzenie samego Awatara, synchronizacja ust przy odpowiedzi i tak dalej, to wszystko będzie zrealizowane i oddane przez API.

Wysoce pożądane jest posiadanie doświadczenia:

Budowania RAG na jakichś frameworkach RAG

Pracy z odtwarzaczami wideo

SAM AWATAR BĘDZIE ZBUDOWANY NA BAZIE D–ID

Główne komponenty projektu X Avatar

1️⃣ System CRM projektu

Konieczne jest opracowanie prostego, ale funkcjonalnego CRM, przez który będzie odbywać się zarządzanie wszystkimi aspektami projektu:

• ustawienia połączenia (API, bazy, zewnętrzne usługi),

• parametry szkolenia,

• zarządzanie rolami,

• moderacja treści i ręczne dodawanie danych.

CRM stanie się centralnym panelem zarządzania systemem — punktem kontroli i ustawień wszystkich modułów X Avatar.

2️⃣ Inteligencja awatara — system RAG (Retrieval-Augmented Generation)

Główna funkcja projektu — inteligentne jądro awatara.
System RAG, zbudowany na Pythonie z użyciem frameworka LangChain, łączy osobistą bazę wiedzy klienta z możliwością dynamicznego wyszukiwania i generowania odpowiedzi.

Sprawia, że inteligencja awatara jest „żywa”: system nie tylko przechowuje teksty, ale rozumie kontekst i formułuje spersonalizowane odpowiedzi w stylu myślenia i mowy Neila.

3️⃣ Niestandardowy odtwarzacz wideo i widgety multimedialne

Własny odtwarzacz wideo — kluczowy element realistyczności projektu.
Zapewnia:

• synchroniczność wideo z głosem i emocjami;

• zmianę tła i reakcji;

• dodawanie żartów, zdjęć i wideo obok odpowiedzi.

Odtwarzacz jest tworzony specjalnie pod projekt, aby „żywy” awatar wyglądał naturalnie i mógł dynamicznie reagować w trakcie rozmowy.

4️⃣ Podstawowe (fundamentalne) szkolenie RAG

Na tym poziomie formuje się podstawa inteligencji:

• instrukcje,

• zasady zachowania,

• szablony odpowiedzi,

• podstawowa struktura bazy wiedzy.

To fundament dla wszystkich kolejnych etapów personalizacji i auto-szkolenia.

5️⃣ Auto-szkolenie RAG z materiałów Malini CMS

System automatycznie pobiera nowe teksty i artykuły z Malini CMS.
Materiały przechodzą konwersję i wektoryzację, po czym są dodawane do bazy wiedzy.
W ten sposób awatar jest stale aktualizowany bez ręcznej interwencji, zachowując aktualność i spójność danych.

6️⃣ Rozszerzone szkolenie RAG z zewnętrznych źródeł (Google Gemini + Perplexity)

System RAG jest uzupełniany o połączenie z zewnętrznymi źródłami.
Przez Perplexity awatar uzyskuje dostęp do świeżych informacji — wiadomości, pogody, wyników sportowych, publikacji NASA itd.
To sprawia, że inteligencja awatara jest nie tylko spersonalizowana, ale także aktualna w czasie rzeczywistym.

7️⃣ Ręczne szkolenie przez CMS

Użytkownik może ręcznie szkolić awatara, dodając nowe teksty, notatki lub artykuły bezpośrednio z interfejsu CMS.
W systemie wbudowany jest asystent GPT, który pomaga w strukturyzacji i poprawie materiału przed szkoleniem, zachowując styl autora.