Разработка Highload системы с fine tuning моделей LLM

Hi Nick,

This is squarely my area: AI search, vision, and agent assistants in messengers. One honest reframe up front, since it changes the budget.

"Multimodal photo + text search" usually doesn't need LLM fine-tuning. The search core is image+text embeddings (CLIP-style) indexed in a vector DB (pgvector or
Qdrant) with hybrid filtering and a reranking pass. That gets strong relevance on your catalog without the cost and fragility of training. Real fine-tuning only
earns its keep if we measure generic embeddings underperforming on your specific products, and then it's targeted, not the whole core.

The LLM's actual job is the agent layer in the messenger: clarify the query, call the search tool, present product cards. That's function-calling/RAG, not the
… retrieval engine.

How I'd build it:
- Ingest catalog (photos, text, attributes), embed, index in a vector DB
- Hybrid search (vector + attribute filters) with a reranker
- Agent in Telegram/WhatsApp via Bot API: photo or text in, ranked cards out
- Event-driven queue for photo processing and traffic spikes, so nothing drops under load

To de-risk it, I'd start with a short paid discovery + a prototype on a slice of your real catalog, measured with recall@k, before committing to the high-load build.
That proves quality on your data first.

Relevant work: I built a dashboard over a private GPU inference platform (FastAPI, vector memory, live model state), shipped production LLM features and vision-API
search, and event-driven messenger bots. Examples in private. 36 projects on Freelancehunt, all 100%, 10/10.

Three questions to scope it: catalog size, target load (requests/min), and which messenger first? And is there an existing catalog API?

Доброго дня, Nick.

Коротко:

Ваш сервіс отримає мультимодальний пошук, здатний одночасно обробляти фото- та текстові запити через персонального агента в Telegram або WhatsApp. Пошукове ядро на базі fine-tuned LLM та vision-моделей забезпечить високу точність результатів. Текстовий пошук підсилимо векторним індексом pgvector, щоб миттєво знаходити схожі товари навіть за неповним описом. Система працюватиме на Kubernetes з автоматичним масштабуванням, тож пікові навантаження не вплинуть на швидкість. Інтеграція через месенджери дозволить користувачам надсилати фото й текст у чат, а асистент повертатиме підбірку товарів з вашого каталогу. Fine-tuning на ваших даних гарантує точність, недосяжну для загальних моделей.

Детальніше:

Мультимодальний пошук вимагає глибокого fine-tuning LLM під ваш каталог, інакше релевантність залишиться на рівні generic-моделей. Пошукове ядро поєднає base-модель із донавчанням на ваших даних і векторний індекс pgvector для семантичного пошуку. Vision-компонент витягуватиме ознаки з фото, а текст уточнюватиме контекст — обидва потоки зливатимуться в єдиний ranked-результат. Архітектура на Kubernetes із незалежним масштабуванням нод (vision, text, ranking) забезпечить стабільну латентність. Event-driven архітектура з чергами повідомлень захистить від втрати запитів під час спайків трафіку, а користувач отримуватиме картки товарів із прямими посиланнями.
…
Наступним кроком точність пошуку можна підвищити завдяки гібридному підходу RAG із fine-tuning. Це дозволить агенту миттєво актуалізувати знання про залишки та ціни без перенавчання моделі, що критично для динамічного e-commerce-каталогу.

Ще пізніше конверсія зросте завдяки аналітичному модулю, який відстежуватиме найпопулярніші візуальні запити. Ви отримаєте чітке розуміння того, що саме шукають користувачі, для оптимізації закупівель і маркетингу.

Готовий обговорити деталі каталогу, обсяги запитів і вибір базової моделі для fine-tuning.

Показать оригинал

Перевести

Мы имеем опыт построения Highload-архитектур и дообучения LLM для мультимодальных задач. Реализуем систему через микросервисы на Python с использованием векторных баз данных для быстрого поиска и интеграцией API мессенджеров для работы агента. Обеспечим масштабируемость и точность обработки запросов по фото и тексту. Готовы приступить к проектированию архитектуры.

у нас уже есть практически готовое похожее решение для ии-поиска и ассистента в мессенджерах, его можно быстро адаптировать и запустить под ваш каталог ))
ПО задаче я бы закладывал первый рабочий этап от 250000 грн и около 35 рабочих дней для прототипа с поиском по фото и тексту, ранжированием, агентом и базовой интеграцией в мессенджеры.
смотрите, тут нюанс - для промышленой версии важнее всего заранее проверить !!нагрузку, качество поиска и структуру каталога!!, иначе fine tuning может стать дорогой игрушкой без заметного выигрыша.
по реализации я бы шел через слой данных, векторный и текстовый поиск, отдельный слой ранжирования, сценарии агента, журналирование запросов и метрики качества выдачи на стороне сервиса.
от вас нужны выгрузка каталога, фото, описания, правила выдачи, список мессенджеров и доступы к тестовому API.
уточню два момента - какой размер каталога и какая целевая нагрузка в запросах в минуту?
какие мессенджеры нужны в первом запуске и есть ли уже API каталога?
из похожего по ии и агентам - https://business.ingello.com/vorfahr и https://business.ingello.com/fractal
как близкий пример по e-commerce и каталжной логике - https://business.ingello.com/prime-eva
… больше о нас для биржи - https://systems-fl.ingello.com
на связи, можем обсудить детали в рамках проекта =)