Система аналитики неструктурированных данных (текст и медиа), реализующая подход RAG для обеспечения семантического поиска и создания структурированных отчетов на основе отфильтрованных результатов. Интерфейс позволяет пользователям выполнять глубокий поиск по базе текстовых документов, изображений, видео и аудио с учетом различных фильтров: тип данных, диапазон дат, метаданные.
После поиска пользователь может создавать настраиваемые аналитические отчеты, сгенерированные с помощью моделей LLM (в том числе локальных или API) на основе выбранного контента.
Ключевые функциональные возможности:
* Семантический поиск с помощью RAG (комбинация векторного поиска и генерации ответов),
* Интегрированные фильтры для уточнения результатов (тип, дата, метаданные, релевантность),
* Поддержка нескольких типов контента: документы, аудио, видео, изображения,
* Генерация отчетов локальными моделями LLM для обработки приватных данных.
Технологический стек:
* Python — основная логика, обработка данных, интеграция с LLM,
* Elasticsearch — хранение и семантический поиск векторизованных данных,
* OpenAI — использование моделей GPT для построения RAG-пайплайнов,
* Docker, Git, Linux — платформа, деплоймент, CI/CD.
Моя роль:
Архитектура системы, реализация механизма индексирования и семантического поиска, интеграция OpenAI API и локальных LLM, настройка среды развертывания с использованием Docker, автоматизация создания отчетов.
#python #elasticsearch #openai #llama #docker #git
После поиска пользователь может создавать настраиваемые аналитические отчеты, сгенерированные с помощью моделей LLM (в том числе локальных или API) на основе выбранного контента.
Ключевые функциональные возможности:
* Семантический поиск с помощью RAG (комбинация векторного поиска и генерации ответов),
* Интегрированные фильтры для уточнения результатов (тип, дата, метаданные, релевантность),
* Поддержка нескольких типов контента: документы, аудио, видео, изображения,
* Генерация отчетов локальными моделями LLM для обработки приватных данных.
Технологический стек:
* Python — основная логика, обработка данных, интеграция с LLM,
* Elasticsearch — хранение и семантический поиск векторизованных данных,
* OpenAI — использование моделей GPT для построения RAG-пайплайнов,
* Docker, Git, Linux — платформа, деплоймент, CI/CD.
Моя роль:
Архитектура системы, реализация механизма индексирования и семантического поиска, интеграция OpenAI API и локальных LLM, настройка среды развертывания с использованием Docker, автоматизация создания отчетов.
#python #elasticsearch #openai #llama #docker #git