Portal zarządzania LLMs

W zeszłym miesiącu jeden z naszych zespołów zakończył rozwój portalu zarządzania LLM. W tym wpisie krótko opiszę to rozwiązanie SaaS, czas, który poświęciliśmy na rozwój, technologie, które wykorzystaliśmy, oraz podam link do środowiska deweloperskiego.

Nasz klient już stworzył środowisko zarządzania LLM. Umożliwia ono użytkownikom uruchamianie i szkolenie LLM, wysyłanie zapytań i otrzymywanie odpowiedzi. Jest głównie wykorzystywane przez platformy edukacyjne, takie jak OpenEdx. Właściciele takich platform mogą szkolić LLM, dostarczając im książki i kursy, używać ich do nauki i testowania studentów za pomocą quizów generowanych przez LLM. Cała interakcja odbywa się przez chatbota, który pełni rolę korepetytora. Krótko mówiąc, jest to zaawansowane narzędzie, które łatwo integruje się z istniejącymi platformami edukacyjnymi.

Zapotrzebowanie klienta polegało na opracowaniu platformy, na której ich klienci mogliby dodawać własne LLM, korzystać z wcześniej zdefiniowanych modeli, przeprowadzać szkolenia i konfigurować zachowanie bota na stronach edukacyjnych. Platforma miała również obsługiwać płatności i subskrypcje. Cały proces rozwoju — od projektowania do końcowego oddania — miał zostać ukończony w ciągu dwóch miesięcy.

Ze względu na bardzo ograniczone ramy czasowe wybraliśmy stos technologiczny, z którym byliśmy najlepiej zaznajomieni:

- Backend: jHipster na Java 23 (zazwyczaj preferujemy Kotlin do rozwoju backendu, ale kHipster jeszcze nie jest zaktualizowany pod jHipster).

- Baza danych: PostgreSQL
- Frontend: aplikacja webowa Angular
- Bramka płatności: Stripe
- CI/CD: GitHub Actions
- Deployment: obraz Docker, który można uruchomić przez Docker Compose lub Kubernetes
- System zgłoszeń: Jira
- Dokumentacja: Confluence
- Komunikacja zespołu: Slack
- Komunikacja z klientami: Telegram

W ciągu sześciu tygodni zakończyliśmy rozwój aplikacji, a następnie spędziliśmy dwa tygodnie na integracji, testowaniu i dopracowywaniu. Zespół składał się z jednego programisty backend, jednego frontend, jednego specjalisty ds. kontroli jakości i jednego menedżera.

Możesz zobaczyć efekt tutaj: https://portal.intela-bot-ai.com — to środowisko deweloperskie. Obecnie przygotowywane są kilka wersji produkcyjnych dla klientów edukacyjnych i innych typów.

#quickdevelopment #softwaredevelopment #java #jhipster #khipster #githubaction #saas #LLM #stripe #posgresql #projectmanagement #stripe #SpringMVC #SpringBoot #websockets #HTTP #jira #confluence #Slack #Sentry #docker-compose #docker #kubernetes #GitHub/GitLab #cicd #PostgreeSQL #ngzorro #ai #openedx #education #saas