Тренировочная система отрицательной обратной связи NFTS

Применение.
Применяется в стрелковых учебно-тренировочных комплексах как автономный стрелковый инструмент, который самостоятельно принимает решение о выполнении выстрела. Наведение и принятие решения выполняется на алгоритмах компьютерного зрения с использованием предварительно обученной нейронной модели.
Критерии.
Основным критерием принятия решения о выстреле является оценка позиции стрелка (курсант). Оценка позиции - это задача, которая заключается в определении местоположения определенных точек на изображении, так называемых ключевых точек.
Ключевые точки могут представлять собой различные части тела человека, такие как суставы, конечности или другие отличительные особенности.
Результатом модели оценки позиции является набор точек, которые представляют собой ключевые точки объекта на изображении, вместе с оценками достоверности для каждой точки.
Оценка позиции - это выбор, когда вам нужно определить конкретные части объекта и их расположение относительно друг друга.
Режим работы.
При определении системой позиции стрелка (курсант), как человека, который стреляет, система начинает отсчет времени, установленный оператором, от 1 до 15 секунд.
По истечении времени, если стрелок (курсант) не изменил местоположение, система определяет центр объекта по оси Х, выполняет прицеливание и выстрел. Если стрелок (курсант) изменил местоположение до установленного оператором времени, отсчет отменяется и система переходит в режим ожидания.
Техническое решение.
Для обучения модели оценки позиции использовалась базовая модель yolov8-pose, видеофайл со стрелками и предварительно сгенерированный файл с контрольными точками. Обучение проводилось на графическом процессоре NVIDIA на Python, библиотека Ultralytics. Для использования обученной модели на микрокомпьютере NVIDIA Jetson или на компьютере с видеокартой #NVIDIA файл модели #YOLO был сконвертирован в файл типа tensorrt. Инференс осуществляется с помощью библиотек #OpenCV, #CUDA C++.