LLMs management portal

Минулого місяця одна з наших команд завершила розробку порталу управління LLM. У цій публікації я коротко опишу це SaaS-рішення, час, який ми витратили на розробку, технології, які ми використовували, та надам посилання на середовище розробки.

Наш клієнт вже створив середовище управління LLM. Воно дозволяє користувачам запускати та навчати LLM, надсилати запити та отримувати відповіді. Його здебільшого використовують освітні платформи, такі як OpenEdx. Власники таких платформ можуть навчати LLM, надаючи їм книги та курси, використовувати їх для навчання та тестування студентів за допомогою вікторин, згенерованих LLM. Вся взаємодія відбувається через чат-бота, який виконує роль репетитора. Коротше кажучи, це складний інструмент, який легко інтегрується в існуючі освітні платформи.

Запит клієнта полягав у розробці платформи, де їхні клієнти могли б додавати власні LLM, використовувати попередньо визначені моделі, проводити навчання та налаштовувати поведінку бота на освітніх сайтах. Платформа також мала підтримувати платежі та підписки. Весь процес розробки — від проектування до остаточної здачі — мав бути завершений протягом двох місяців.

Через дуже обмежені часові рамки ми обрали технологічний стек, з яким нам було найкраще знайомо:

- Бекенд: jHipster на Java 23 (зазвичай ми надаємо перевагу Kotlin для розробки бекенду, але kHipster ще не оновлений під jHipster).

- База даних: PostgreSQL
- Фронтенд: Веб-додаток Angular
- Платіжний шлюз: Stripe
- CI/CD: GitHub Actions
- Розгортання: Образ Docker, який можна запускати через Docker Compose або Kubernetes
- Система тикетів: Jira
- Документація: Confluence
- Комунікація команди: Slack
- Комунікація з клієнтами: Telegram

За шість тижнів ми завершили розробку додатку, а потім витратили два тижні на інтеграцію, тестування та тонке налаштування. Команда складалася з одного бекенд-розробника, одного фронтенд-розробника, одного спеціаліста з контролю якості та одного менеджера.

Ви можете побачити результат тут: https://portal.intela-bot-ai.com — це середовище розробки. Зараз готується кілька продакшн-примірників для освітніх та інших типів клієнтів.


#quickdevelopment #softwaredevelopment #java #jhipster #khipster #githubaction #saas #LLM #stripe #posgresql #projectmanagement #stripe #SpringMVC #SpringBoot #websockets #HTTP #jira #confluence #Slack #Sentry #docker-compose #docker #kubernetes #GitHub/GitLab #cicd #PostgreeSQL #ngzorro #ai #openedx #education #saas