Розробка Highload системи з тонкою налаштуванням моделей LLM

Доброго дня, Nick.

Коротко:

Ваш сервіс отримає мультимодальний пошук, здатний одночасно обробляти фото- та текстові запити через персонального агента в Telegram або WhatsApp. Пошукове ядро на базі fine-tuned LLM та vision-моделей забезпечить високу точність результатів. Текстовий пошук підсилимо векторним індексом pgvector, щоб миттєво знаходити схожі товари навіть за неповним описом. Система працюватиме на Kubernetes з автоматичним масштабуванням, тож пікові навантаження не вплинуть на швидкість. Інтеграція через месенджери дозволить користувачам надсилати фото й текст у чат, а асистент повертатиме підбірку товарів з вашого каталогу. Fine-tuning на ваших даних гарантує точність, недосяжну для загальних моделей.

Детальніше:

Мультимодальний пошук вимагає глибокого fine-tuning LLM під ваш каталог, інакше релевантність залишиться на рівні generic-моделей. Пошукове ядро поєднає base-модель із донавчанням на ваших даних і векторний індекс pgvector для семантичного пошуку. Vision-компонент витягуватиме ознаки з фото, а текст уточнюватиме контекст — обидва потоки зливатимуться в єдиний ranked-результат. Архітектура на Kubernetes із незалежним масштабуванням нод (vision, text, ranking) забезпечить стабільну латентність. Event-driven архітектура з чергами повідомлень захистить від втрати запитів під час спайків трафіку, а користувач отримуватиме картки товарів із прямими посиланнями.
…
Наступним кроком точність пошуку можна підвищити завдяки гібридному підходу RAG із fine-tuning. Це дозволить агенту миттєво актуалізувати знання про залишки та ціни без перенавчання моделі, що критично для динамічного e-commerce-каталогу.

Ще пізніше конверсія зросте завдяки аналітичному модулю, який відстежуватиме найпопулярніші візуальні запити. Ви отримаєте чітке розуміння того, що саме шукають користувачі, для оптимізації закупівель і маркетингу.

Готовий обговорити деталі каталогу, обсяги запитів і вибір базової моделі для fine-tuning.

Ми маємо досвід побудови Highload-архітектур та дообучення LLM для мультимодальних завдань. Реалізуємо систему через мікросервіси на Python з використанням векторних баз даних для швидкого пошуку та інтеграцією API месенджерів для роботи агента. Забезпечимо масштабованість та точність обробки запитів по фото та тексту. Готові розпочати проектування архітектури.

Показати оригінал

Перекласти

У нас вже є практично готове схоже рішення для ІІ-пошуку та асистента в месенджерах, його можна швидко адаптувати та запустити під ваш каталог ))
По задачі я б закладав перший робочий етап від 250000 грн і близько 35 робочих днів для прототипу з пошуком по фото та тексту, ранжуванням, агентом і базовою інтеграцією в месенджери.
Дивіться, тут нюанс - для промислової версії важливо заздалегідь перевірити !!навантаження, якість пошуку та структуру каталогу!!, інакше fine tuning може стати дорогою іграшкою без помітного виграшу.
По реалізації я б йшов через шар даних, векторний і текстовий пошук, окремий шар ранжування, сценарії агента, журналювання запитів і метрики якості видачі на стороні сервісу.
Від вас потрібні вивантаження каталогу, фото, описи, правила видачі, список месенджерів і доступи до тестового API.
Уточню два моменти - який розмір каталогу і яка цільова навантаження в запитах на хвилину?
Які месенджери потрібні в першому запуску і чи є вже API каталогу?
З подібного по ІІ та агентам - https://business.ingello.com/vorfahr і https://business.ingello.com/fractal
Як близький приклад по e-commerce та каталогічній логіці - https://business.ingello.com/prime-eva
… Більше про нас для біржі - https://systems-fl.ingello.com
На зв'язку, можемо обговорити деталі в рамках проекту =)

Показати оригінал

Перекласти