Есть заранее известное по длине, ширине и высоте помещение. В этом помещении есть несколько камер.
Нужно воссоздать в 3D виртуальном пространстве это помещение.
Как я это вижу - в виртуальном пространстве создается пустая комната заданных размеров. Если есть какие то не передвигаемые предметы, например колонны - их можно сразу поставить. Далее, в реальном времени анализируется видео с камер и в виртуальной комнате появляется всё то, что есть в реале в объеме. Желательно для текстур использовать картинки с видео.
По возможности конечно же, определить каждый предмет (можно привлечь пользователя) и вместо него поставить на это место подходящую модель. А если света не достаточно или выключили, желательно чтобы мебель не пропадала с тех мест, где она стояла.
Какие движки я немного знаю - Garry's mod, Unreal, Unity, Автокад. А по сути мне не важно.
Что с этим делать:
- В реальном времени находиться там от 3-его лица или смотреть его глазами
- Сохранить текущее состояние 3D пространства в популярный формат 3D