Сервер для деплоя AI моделей

Доброго дня ,

Вы описали задание, которое предусматривает создание сервера для запуска AI моделей через API с следующими основными требованиями:

1 .Настройка для запросов к каждому из моделей: Это важно для разделения и управления запросами к различным моделям.Вы можете использовать технологию рядов, как RabbitMQ или Apache Kafka, для реализации этой функциональности.ВтораяСтабильность работы: Обеспечение стабильности сервера включает в себя управление ошибками, сохранение состояния запросов и возможное перезапуск моделей в случае аварии.Вы можете использовать контейнеры, такие как Docker, для изоляции среды модели и Kubernetes или Docker Compose для оркестрации контейнеров.3 .Логирование событий сервера: сбор и анализ логов поможет вам отслеживать состояние сервера и обнаружить ошибки.Вы можете использовать инструменты для входа, такие как ELK Stack (Elasticsearch, Logstash, Kibana) или просто вход в файл.Для выполнения этой задачи мы можем использовать языки программирования, такие как Python или Node.js, и фреймворки для создания API, таких как Express.js.
Напишите мне для обсуждения следующих шагов.С уважением Михайло!

Показать оригинал

Перевести

я бы реализовал на другом стеке технологий чем те что отмечены в примерах.
flask - базовый сервер
flask_restx - расширение для построения полноценного апи
redis - брокер сообщений
celery - для обработки фоновых задач в том числе по запуску AI задач.
остаются открытыми вопросы:
- как Вы хотите видеть логирование.
- аутенфикация пользователя