Rozwój systemu Highload z fine tuning modeli LLM

Hi Nick,

This is squarely my area: AI search, vision, and agent assistants in messengers. One honest reframe up front, since it changes the budget.

"Multimodal photo + text search" usually doesn't need LLM fine-tuning. The search core is image+text embeddings (CLIP-style) indexed in a vector DB (pgvector or
Qdrant) with hybrid filtering and a reranking pass. That gets strong relevance on your catalog without the cost and fragility of training. Real fine-tuning only
earns its keep if we measure generic embeddings underperforming on your specific products, and then it's targeted, not the whole core.

The LLM's actual job is the agent layer in the messenger: clarify the query, call the search tool, present product cards. That's function-calling/RAG, not the
… retrieval engine.

How I'd build it:
- Ingest catalog (photos, text, attributes), embed, index in a vector DB
- Hybrid search (vector + attribute filters) with a reranker
- Agent in Telegram/WhatsApp via Bot API: photo or text in, ranked cards out
- Event-driven queue for photo processing and traffic spikes, so nothing drops under load

To de-risk it, I'd start with a short paid discovery + a prototype on a slice of your real catalog, measured with recall@k, before committing to the high-load build.
That proves quality on your data first.

Relevant work: I built a dashboard over a private GPU inference platform (FastAPI, vector memory, live model state), shipped production LLM features and vision-API
search, and event-driven messenger bots. Examples in private. 36 projects on Freelancehunt, all 100%, 10/10.

Three questions to scope it: catalog size, target load (requests/min), and which messenger first? And is there an existing catalog API?

Dzień dobry, Nick.

Krótko:

Twój serwis otrzyma multimodalne wyszukiwanie, zdolne jednocześnie przetwarzać zapytania zdjęciowe i tekstowe za pośrednictwem osobistego agenta w Telegramie lub WhatsApp. Rdzeń wyszukiwania oparty na fine-tuned LLM oraz modelach wizji zapewni wysoką dokładność wyników. Wyszukiwanie tekstowe wzmocnimy wektorowym indeksem pgvector, aby natychmiast znajdować podobne produkty nawet przy niepełnym opisie. System będzie działał na Kubernetes z automatycznym skalowaniem, więc szczytowe obciążenia nie wpłyną na szybkość. Integracja przez komunikatory pozwoli użytkownikom wysyłać zdjęcia i tekst na czacie, a asystent zwróci zestaw produktów z twojego katalogu. Fine-tuning na twoich danych gwarantuje dokładność, niedoścignioną dla ogólnych modeli.

Szczegóły:

Multimodalne wyszukiwanie wymaga głębokiego fine-tuningu LLM pod twój katalog, w przeciwnym razie trafność pozostanie na poziomie modeli ogólnych. Rdzeń wyszukiwania połączy model bazowy z dalszym uczeniem na twoich danych oraz wektorowy indeks pgvector do wyszukiwania semantycznego. Komponent wizji wyodrębni cechy ze zdjęć, a tekst doprecyzuje kontekst — oba strumienie połączą się w jedyny ranked-wynik. Architektura na Kubernetes z niezależnym skalowaniem węzłów (wizja, tekst, ranking) zapewni stabilną latencję. Architektura oparta na zdarzeniach z kolejkami wiadomości ochroni przed utratą zapytań podczas szczytów ruchu, a użytkownik otrzyma karty produktów z bezpośrednimi linkami.
…
Następnym krokiem dokładność wyszukiwania można zwiększyć dzięki hybrydowemu podejściu RAG z fine-tuningiem. To pozwoli agentowi natychmiast aktualizować wiedzę o stanach magazynowych i cenach bez ponownego uczenia modelu, co jest krytyczne dla dynamicznego katalogu e-commerce.

Jeszcze później konwersja wzrośnie dzięki modułowi analitycznemu, który będzie śledził najpopularniejsze wizualne zapytania. Otrzymasz jasne zrozumienie tego, czego dokładnie szukają użytkownicy, aby zoptymalizować zakupy i marketing.

Jestem gotów omówić szczegóły katalogu, wolumeny zapytań i wybór modelu bazowego do fine-tuningu.

Pokaż oryginał

Przetłumacz

Mamy doświadczenie w budowaniu architektur Highload i dalszym szkoleniu LLM do zadań multimodalnych. Realizujemy system za pomocą mikroserwisów w Pythonie z wykorzystaniem baz danych wektorowych do szybkiego wyszukiwania oraz integracją API komunikatorów do pracy agenta. Zapewnimy skalowalność i dokładność przetwarzania zapytań dotyczących zdjęć i tekstu. Jesteśmy gotowi do rozpoczęcia projektowania architektury.

Pokaż oryginał

Przetłumacz

mamy już praktycznie gotowe podobne rozwiązanie dla wyszukiwania AI i asystenta w komunikatorach, które można szybko dostosować i uruchomić pod wasz katalog ))
W przypadku zadania zakładałbym pierwszy etap roboczy od 250000 UAH i około 35 dni roboczych na prototyp z wyszukiwaniem po zdjęciach i tekstach, rankingiem, agentem i podstawową integracją w komunikatory.
Zobaczcie, tu jest niuans - dla wersji przemysłowej najważniejsze jest wcześniejsze sprawdzenie !!obciążenia, jakości wyszukiwania i struktury katalogu!!, w przeciwnym razie fine tuning może stać się drogą zabawką bez zauważalnych korzyści.
W realizacji poszedłbym przez warstwę danych, wyszukiwanie wektorowe i tekstowe, oddzielną warstwę rankingu, scenariusze agenta, logowanie zapytań i metryki jakości wyników po stronie serwisu.
Od was potrzebne są: eksport katalogu, zdjęcia, opisy, zasady wydawania, lista komunikatorów i dostęp do testowego API.
Uściślę dwa punkty - jaki jest rozmiar katalogu i jakie jest docelowe obciążenie w zapytaniach na minutę?
Jakie komunikatory są potrzebne w pierwszym uruchomieniu i czy istnieje już API katalogu?
Z podobnych rozwiązań dotyczących AI i agentów - https://business.ingello.com/vorfahr i https://business.ingello.com/fractal
Jako bliski przykład dotyczący e-commerce i logiki katalogowej - https://business.ingello.com/prime-eva
… Więcej o nas dla giełdy - https://systems-fl.ingello.com
Jesteśmy w kontakcie, możemy omówić szczegóły w ramach projektu =)

Pokaż oryginał

Przetłumacz