OpenAI Modelt Turning

Добрый день! Очень интересная задача. Я вижу, что вы ищете не просто интегратора API, а специалиста, который поможет вам построить эффективную и экономически выгодную архитектуру работы с LLM для приоритизации рекомендаций.
Что касается вашего запроса о embeddings для уменьшения потребления токенов — это абсолютно правильное направление. Этот подход, известный как Retrieval-Augmented Generation (RAG), позволяет значительно оптимизировать затраты, не отправляя весь массив рекомендаций в каждом запросе, а лишь наиболее релевантную выборку.

Предлагаю следующий план реализации:

Шаг 1. Аудит. Анализ ваших существующих алгоритмов и промптов, которые сейчас используются в ChatGPT.

Шаг 2. Создание векторной базы. Возьмем весь ваш перечень рекомендаций, создадим для каждой из них embedding и загрузим их в векторную базу данных (например, Pinecone или Supabase).

… Шаг 3. Построение логики поиска. Реализация механизма, который преобразует входные данные о доме пользователя в вектор и осуществляет семантический поиск по базе для получения релевантных рекомендаций.

Шаг 4. Интеграция с LLM. Создание финального промпта, который передает полученные рекомендации основной модели для финальной приоритизации и генерации ответа пользователю.

Шаг 5. Перенос в бизнес-аккаунт. Настройка доступа через API из вашего бизнес-аккаунта OpenAI и финальное тестирование.

Для более точной оценки, хотел бы уточнить несколько моментов:

- Какой приблизительный объем вашей базы рекомендаций (количество и средний размер текста)?
- Где и в каком формате сейчас хранятся эти рекомендации?
- Есть ли у вас предпочтения по хостингу векторной базы данных?
Готов обсудить детали в переписке.

Показать оригинал

Перевести

Добрый день! У меня есть опыт интеграции и настройки работы с OpenAI. Напишите пожалуйста в ЛС, чтобы обсудить Вашу задачу более детальнее. Спасибо!

Добрый день. У меня много опыта с LLM моделями, в том числе Openai. Можем подробнее обсудить задачу?

Показать оригинал

Перевести