Разработка Highload системы с fine tuning моделей LLM

Бюджет: 7600 USD Срок: 45 дней

СМотрите, тут нюанс - это не задача про просто чат-бота, а продуктовая система поиска, где цена ошибки в архитектуре высокая =/

По срокам я бы закладывал первый безопасный этап на 45 дней и 7600 USD - проектирование, проверка мультимодального поиска на ваших товарах, прототип агента в мессенджерах, схема данных, очередь обработки фото, метрики качества поиска и план дообучения модели. Полная разработка уже зависит от нагрузки и каталога, скорее всего это отдельный бюджет от 20000 USD.

Видение реализации такое -
> нормализуем катлог, атрибуты, фото и тексты товаров
> строим мультимодальный поиск - векторный индекс, ранжирование, фильтры, проверка релевантности
> делаем агента в мессенджерах, который уточняет запрос, показывает варианты и передает событие в админку
> отдельно считаем качество поиска и данные для дообучения, иначе модель будет красиво отвечать, но продавать слабее

От вас на старте нужны каталог товаров, примеры фото, описание целевых мессенджеров и хотя бы грубая оценка пиковых нагрузок. В целом норм идти не с большой стройки, а с проверяемого этапа - сначала доказать качество поиска на реальных товарах.

Уточню 2 вещи -
> какой объем каталога - товаров, фото, языков, обновлений в день
> дообучение LLM действительно обязательно или можно начать с мультимодальных эмбеддингов, ранжирования и RAG, а fine tuning оставить после накопления обучающих примеров

Из близкого опыта -
> https://business.ingello.com/vorfahr - ИИ-сервис, работа с фото, генерацией контента и продуктовой логикой
> https://business.ingello.com/fractal - агентная архитектура и автоматизация сложных рабочих процессов
> https://business.ingello.com/prime-eva - товарные данные, производство, интеграции и учет

Главная страница команды для FLH -
> https://systems-fl.ingello.com Развернуть

Бюджет: 1900 USD Срок: 33 дня

Добрый день. Задача понятная: мультимодальный поиск товаров, когда запрос идёт и фото, и текстом одновременно, плюс агент-ассистент, который живёт в мессенджерах и общается с пользователем, и всё это должно держать нагрузку.

По архитектуре вижу это так. Мультимодальную часть строим на общих эмбеддингах для изображения и текста, чтобы фото и текстовый запрос попадали в одно векторное пространство и ранжирование шло по близости. Под это ложится векторная база (работал с Qdrant в проде) и слой переранжирования уже поверх кандидатов. Fine tuning нужен там, где готовая модель промахивается по вашей номенклатуре: дообучаем на ваших парах товар и запрос, а не трогаем всё подряд.

Агент в мессенджерах у меня близкий опыт: делал голосового AI-ассистента для клиник, где LLM был оркестратором диалога с tool use и поиском по базе знаний через RAG, и платформу с семантическим поиском по контенту в Telegram. Highload часть закрываю асинхронным Python (FastAPI), очередями и кешированием горячих запросов.

Чтобы прицелиться по нагрузке и стоимости: какой порядок каталога и сколько запросов в пик ожидаете, и в каких именно мессенджерах должен жить агент? От этого зависит выбор модели и инфраструктуры.

Бюджет: 12500 USD Срок: 45 дней

Привет, Ник. Готови сделать автоматизацию и агентов которие будет ее контролировать/дорабативать.
Пиши в ЛС не трать время зря.

Бюджет: 100 USD Срок: 5 дней

Здравствуйте.

Вижу, что вам нужна не просто интеграция LLM, а highload-система мультимодального поиска с дообучением моделей, способная обрабатывать фото и текстовые запросы через AI-ассистента в мессенджерах без потери качества и скорости.

Работал со схожими AI-проектами: создавал AI-консультантов, системы автоматизации на базе ChatGPT/Claude, интеграции через Make.com, Voiceflow, Chatfuel и CRM-экосистемы, где ключевой задачей была обработка больших объемов запросов, маршрутизация данных и построение масштабируемой архитектуры.

Для такого проекта критично продумать не только fine-tuning моделей, но и весь пайплайн: обработку изображений, векторный поиск, RAG-архитектуру, кэширование, очереди задач, мониторинг нагрузки и работу агента в мессенджерах. Один из эффективных подходов — разделить поиск, инференс и коммуникационный слой на независимые сервисы для горизонтального масштабирования.

Подскажите, планируете использовать готовые open-source модели (LLaMA, Qwen, Gemma) или рассматриваете обучение собственной модели под каталог товаров?

Бюджет: 2500 USD Срок: 30 дней

Здравствуйте.

Сильные AI-системы начинаются не с fine-tuning, а с правильной архитектуры. Готов предложить решение, которое будет работать под нагрузкой сегодня и не потребует переписывания завтра.

Буду рад обсудить проект.

Бюджет: 25 USD Срок: 1 день

Привет, Ник,

Это полностью моя сфера: ИИ-поиск, визуализация и ассистенты-агенты в мессенджерах. Один честный пересмотр сразу, так как это меняет бюджет.

"Мультимодальный поиск по фото + тексту" обычно не требует тонкой настройки LLM. Основой поиска являются встраивания изображений и текста (в стиле CLIP), индексированные в векторной базе данных (pgvector или Qdrant) с гибридной фильтрацией и повторной сортировкой. Это обеспечивает высокую релевантность вашего каталога без затрат и хрупкости обучения. Реальная тонкая настройка оправдана только в том случае, если мы измерим, что общие встраивания работают хуже на ваших конкретных продуктах, и тогда это целенаправленно, а не для всего ядра.

Фактическая задача LLM — это уровень агента в мессенджере: уточнить запрос, вызвать инструмент поиска, представить карточки продуктов. Это вызов функций/RAG, а не движок извлечения.

Как бы я это построил:
- Интеграция каталога (фото, текст, атрибуты), встраивание, индексирование в векторной базе данных
- Гибридный поиск (вектор + фильтры атрибутов) с повторной сортировкой
- Агент в Telegram/WhatsApp через Bot API: фото или текст на входе, отсортированные карточки на выходе
- Очередь на основе событий для обработки фото и пиков трафика, чтобы ничего не терялось под нагрузкой

Чтобы снизить риски, я бы начал с короткого оплачиваемого исследования + прототипа на части вашего реального каталога, измеренного по recall@k, прежде чем переходить к высоконагруженной сборке. Это сначала докажет качество на ваших данных.

Соответствующая работа: я создал панель управления на частной платформе GPU для вывода (FastAPI, векторная память, состояние модели в реальном времени), выпустил функции LLM в производстве и поиск по vision-API, а также боты в мессенджерах на основе событий. Примеры в частном порядке. 36 проектов на Freelancehunt, все 100%, 10/10.

Три вопроса для определения объема: размер каталога, целевая нагрузка (запросы/мин) и какой мессенджер в первую очередь? И есть ли существующий API каталога? Развернуть

Бюджет: 165 USD Срок: 1 день

Доброго дня, Nick.

Коротко:

Ваш сервіс отримає мультимодальний пошук, здатний одночасно обробляти фото- та текстові запити через персонального агента в Telegram або WhatsApp. Пошукове ядро на базі fine-tuned LLM та vision-моделей забезпечить високу точність результатів. Текстовий пошук підсилимо векторним індексом pgvector, щоб миттєво знаходити схожі товари навіть за неповним описом. Система працюватиме на Kubernetes з автоматичним масштабуванням, тож пікові навантаження не вплинуть на швидкість. Інтеграція через месенджери дозволить користувачам надсилати фото й текст у чат, а асистент повертатиме підбірку товарів з вашого каталогу. Fine-tuning на ваших даних гарантує точність, недосяжну для загальних моделей.

Детальніше:

Мультимодальний пошук вимагає глибокого fine-tuning LLM під ваш каталог, інакше релевантність залишиться на рівні generic-моделей. Пошукове ядро поєднає base-модель із донавчанням на ваших даних і векторний індекс pgvector для семантичного пошуку. Vision-компонент витягуватиме ознаки з фото, а текст уточнюватиме контекст — обидва потоки зливатимуться в єдиний ranked-результат. Архітектура на Kubernetes із незалежним масштабуванням нод (vision, text, ranking) забезпечить стабільну латентність. Event-driven архітектура з чергами повідомлень захистить від втрати запитів під час спайків трафіку, а користувач отримуватиме картки товарів із прямими посиланнями.

Наступним кроком точність пошуку можна підвищити завдяки гібридному підходу RAG із fine-tuning. Це дозволить агенту миттєво актуалізувати знання про залишки та ціни без перенавчання моделі, що критично для динамічного e-commerce-каталогу.

Ще пізніше конверсія зросте завдяки аналітичному модулю, який відстежуватиме найпопулярніші візуальні запити. Ви отримаєте чітке розуміння того, що саме шукають користувачі, для оптимізації закупівель і маркетингу.

Готовий обговорити деталі каталогу, обсяги запитів і вибір базової моделі для fine-tuning. Развернуть

Бюджет: 1300 USD Срок: 45 дней

Мы имеем опыт построения Highload-архитектур и дообучения LLM для мультимодальных задач. Реализуем систему через микросервисы на Python с использованием векторных баз данных для быстрого поиска и интеграцией API мессенджеров для работы агента. Обеспечим масштабируемость и точность обработки запросов по фото и тексту. Готовы приступить к проектированию архитектуры.

Бюджет: 25000 USD Срок: 35 дней

у нас уже есть практически готовое похожее решение для ии-поиска и ассистента в мессенджерах, его можно быстро адаптировать и запустить под ваш каталог ))
ПО задаче я бы закладывал первый рабочий этап от 250000 грн и около 35 рабочих дней для прототипа с поиском по фото и тексту, ранжированием, агентом и базовой интеграцией в мессенджеры.
смотрите, тут нюанс - для промышленой версии важнее всего заранее проверить !!нагрузку, качество поиска и структуру каталога!!, иначе fine tuning может стать дорогой игрушкой без заметного выигрыша.
по реализации я бы шел через слой данных, векторный и текстовый поиск, отдельный слой ранжирования, сценарии агента, журналирование запросов и метрики качества выдачи на стороне сервиса.
от вас нужны выгрузка каталога, фото, описания, правила выдачи, список мессенджеров и доступы к тестовому API.
уточню два момента - какой размер каталога и какая целевая нагрузка в запросах в минуту?
какие мессенджеры нужны в первом запуске и есть ли уже API каталога?
из похожего по ии и агентам - https://business.ingello.com/vorfahr и https://business.ingello.com/fractal
как близкий пример по e-commerce и каталжной логике - https://business.ingello.com/prime-eva
больше о нас для биржи - https://systems-fl.ingello.com
на связи, можем обсудить детали в рамках проекта =) Развернуть