Видео Аватар на базе RAG + D–ID + Chat GPT

X Avatar — сайт, где пользователь общается с видео-аватаром X (его цифровая копия). Аватар отвечает голосом и на видео (через D-ID), использует ИИ для ответов RAG (через ChatGPT API) и подключается к базе знаний, собранной из материалов клиента + некоторых внешних источников.

Сейчас крайне важно понять вашу вилку бюджета и сроков: от – до + как вы видите реализацию проекта.

Основные зоны работы:

VIDEOPLAYER – Под нашу задачу нам нужно разработать будет полноценный кастомный плеер, который сможет все совместно соединить в себе. Все функции, которые нам потребуются.

RAG – Нам нужно обучить аватар из двух источников. Первый источник это наш публичный источник по API. источник это некоторые сайты из которого по которым нам нужно вытягивать информацию при помощи Perplexity.

D-ID - Этот инструмент дает нам уже готовый аватар. То есть у нас уже будет готовый аватар, там уже отдельно выполняется задание, и к этому аватару можно будет подключаться. создание самого Аватара, синхронизация губ при ответе и так далее, это все будет реализовано и отдано по API.

Крайне желательно иметь опыт:

Построения RAG на каких-то RAG фреймворкаах

Работы с видео-плеерами

САМ АВАТАР БУДЕТ ПОСТРОЕН НА БАЗЕ D–ID

Основные компоненты проекта X Avatar

1️⃣ CRM-система проекта

Необходимо разработать простую, но функциональную CRM, через которую будет осуществляться управление всеми аспектами проекта:

• настройки подключения (API, базы, внешние сервисы),

• параметры обучения,

• управление ролями,

• модерация контента и ручное добавление данных.

CRM станет центральной панелью управления системой — точкой контроля и настройки всех модулей X Avatar.

2️⃣ Интеллект аватара — RAG-система (Retrieval-Augmented Generation)

Главная функция проекта — интеллектуальное ядро аватара.
RAG-система, построенная на Python с использованием фреймворка LangChain, объединяет персональную базу знаний клиента с возможностью динамического поиска и генерации ответов.

Она делает интеллект аватара «живым»: система не просто хранит тексты, а понимает контекст и формирует персонализированные ответы в стиле мышления и речи Нила.

3️⃣ Кастомный видеоплеер и медиа-виджеты

Собственный видеоплеер — ключевой элемент реалистичности проекта.
Он обеспечивает:

• синхронизацию видео с голосом и эмоциями;

• смену фонов и реакций;

• добавление шуток, фото и видео рядом с ответами.

Плеер создаётся специально под проект, чтобы «живой» аватар выглядел естественно и мог динамически реагировать в процессе разговора.

4️⃣ Базовое (фундаментальное) обучение RAG

На этом уровне формируется основа интеллекта:

• инструкции,

• правила поведения,

• шаблоны ответов,

• базовая структура базы знаний.

Это фундамент для всех последующих этапов персонализации и автообучения.

5️⃣ Автообучение RAG из материалов Malini CMS

Система автоматически получает новые тексты и статьи из Malini CMS.
Материалы проходят конвертацию и векторизацию, после чего добавляются в базу знаний.
Таким образом, аватар постоянно обновляется без ручного вмешательства, сохраняя актуальность и связность данных.

6️⃣ Расширенное обучение RAG из внешних источников (Google Gemini + Perplexity)

RAG-система дополняется подключением к внешним источникам.
Через Perplexity аватар получает доступ к свежей информации — новостям, погоде, спортивным результатам, публикациям NASA и т.д.
Это делает интеллект аватара не только персонализированным, но и актуальным в реальном времени.

7️⃣ Ручное обучение через  CMS

Пользователь может вручную обучать аватар, добавляя новые тексты, заметки или статьи прямо из интерфейса CMS.
В систему встроен GPT-помощник, который помогает структурировать и улучшать материал перед обучением, сохраняя стиль автора.