Обзор прототипа пошагового процесса смешанной реальности Unity

Мы ищем квалифицированного подрядчика или индивидуального разработчика для подачи предложений по разработке прототипа смешанной реальности (MR) на базе Unity для одного пользователя, ориентированного на устройство PICO 4 Ultra Enterprise. Прототип предоставит беспроводной, управляемый взглядом и голосом интерфейс для проведения пользователей через процедурные процессы с помощью чек-листов, хранящихся во внешних YAML-файлах.

Это решение предназначено как раннее демонстрационное приложение для демонстрации возможностей иммерсивной производительности и обучения в рамках корпоративных и промышленных рабочих процессов.

2. Цели

Цель этого контракта — совместно с нами разработать, спроектировать и предоставить рабочий прототип приложения смешанной реальности на PICO 4 Enterprise с использованием Unity, включающий следующее:

• Беспроводное взаимодействие пользователя

• Управление взглядом, жестами и голосом

• Модульная загрузка протоколов через внешние YAML-файлы

• Отслеживание времени выполнения в реальном времени

• Аудиоотзывы и руководство пользователю

3. Функциональный объем и рабочий процесс

Подрядчик должен реализовать следующий рабочий процесс пользователя в Unity:

3.1 Ввод в работу и настройка

• Пользователь запускает приложение на гарнитуре PICO.

• Приложение загружает набор доступных процедурных рабочих процессов из локально сохраненных YAML файлов.

• Пользователь выбирает один протокол с помощью взгляда, взаимодействия руками или голоса.

3.2 Запуск протокола

• Выбранный протокол отображает титульный экран с кратким обзором и видимой Кнопкой запуска.
  (Protocol Title и Title Description разбираются из YAML файла)

• Протокол можно запустить тремя способами:

  • Используя жест руки для нажатия на кнопку «Start»

  • Держать взгляд на кнопку в течение 3 секунд

  • Произнести фразу «Start the Procedure»

3.3 Выполнение протокола

• При запуске:

  • Голос (с использованием Unity Sentis – Piper TTS) воспроизводит введение в протокол, инструкции по безопасности и руководство по взаимодействию.
    (Protocol PreRequisites, Safety Instructions и Primary Contact разбираются из YAML файла)

  • Приложение запускает запись экрана сессии (для последующего анализа).

• Интерфейс процедуры выделяет первые 6 шагов, с:

  • Полным интерфейсом протокола справа, за пределами поля зрения, чтобы избежать загромождения.

  • Активный шаг закреплен в нижней части поля зрения пользователя.

  • Методы навигации:

    • Взгляд на галочку шага в течение 3 секунд

    • Голосовая команда: «Step {n} completed»

  • Система отслеживает время, затраченное на каждый шаг (в миллисекундах), и записывает его в файл {ISOdate}-sessionperformance.log

  • Система 

3.4 Правила динамической навигации

• в правом интерфейсе всегда отображать:

  • Последние 2 выполненных шага

  • Следующие 3 шага

• Выполненные шаги отображаются серым с легким зеленым оттенком и зеленой галочкой.

• Активный шаг выделен.

• Будущие шаги отображаются серым.

3.5 Завершение

• После завершения всех шагов:

  • Показать визуальный и голосовой итоговый экран.

  • Вернуться к экрану выбора протокола.

4. Технические требования и интеграции

Решение должно быть реализовано с использованием Unity (рекомендуется версия LTS) и должно интегрировать следующие компоненты:

• Базовый шаблон Unity, предоставленный клиентом

• PICO Unity Integration SDK

• PICO Unity Live Preview Plugin

• Unity Sentis

  • Whisper Tiny (распознавание речи)

  • Piper TTS (преобразование текста в речь)

• MRTK3 Volumetric UI — фреймворк для иммерсивного взаимодействия

• Локальный загрузчик файлов и YAML парсер для загрузки протоколов

Пример схемы YAML:

Protocol Title: "Sterile Compounding Room Startup"
Protocol Title Description: "Validated protocol for initiating sterile manufacturing operations in Grade A/B Cleanroom."
Protocol Introduction: >
  Этот протокол описывает проверенные шаги, необходимые для запуска операций в стерильной производственной зоне. 
  Все шаги должны выполняться последовательно и подтверждаться цифровой подписью или голосовым/взглядовым управлением.
Protocol PreRequisites: >
  Убедитесь, что персонал правильно одет согласно SOP-001-A.
  Подтвердите работу системы мониторинга окружающей среды.
  Убедитесь, что системы HVAC и HEPA фильтрации работают непрерывно не менее 30 минут перед началом.
Protocol Safety Instructions: >
  Все операторы должны строго соблюдать асептические техники.
  В зону Grade A не допускаются неавторизованные материалы.
  Немедленно сообщайте о любых аномалиях руководителю QA.
Protocol Primary Contact: "Dr. Lisa Meinhart, QA Supervisor, Ext. 2205"
Protocol Steps:
  - step: 1
    title: "Enter Gowning Room"
    instructions: "Follow full-body sterile gowning procedure according to SOP-001-A. Use mirror to verify full coverage."
  
  - step: 2
    title: "Perform Initial Cleanroom Disinfection"
    instructions: "Using sterile wipes saturated with sporicidal agent, disinfect all high-touch surfaces in the Grade B area."
  - step: 3
    title: "Activate Cleanroom Monitoring Systems"
    instructions: "Check and activate particle counter, differential pressure monitors, and temperature/humidity sensors. Log values."
  - step: 4
    title: "Prepare and Stage Materials"
    instructions: "Transfer pre-approved sterile materials into the pass-through chamber. Wipe down each item with 70% IPA."
  - step: 5
    title: "Perform Airflow Smoke Test (Visual Confirmation)"
    instructions: "Use sterile smoke wand to visualize unidirectional airflow across work surfaces. Confirm laminar flow integrity."
  - step: 6
    title: "Verify HEPA Filter Functionality"
    instructions: "Check filter status indicators or refer to Building Management System (BMS) for реальное состояние работы."
  - step: 7
    title: "Confirm Line Clearance"
    instructions: "Verify that the production suite is free from any previous batch remnants, with QA sign-off completed."
  - step: 8
    title: "Document Environmental Parameters"
    instructions: "Log temperature, RH%, differential pressure readings in the batch record or eBR."
  - step: 9
    title: "Sanitize Gloves and Enter Grade A Zone"
    instructions: "Sanitize sterile gloves with 70% IPA spray before entering the aseptic processing area."
  - step: 10
    title: "Begin Batch Execution"
    instructions: "Initiate batch record by scanning lot ID and confirming material and equipment readiness."

5. Результаты

Назначенный подрядчик предоставит следующее:

• ✅ Полностью функционирующий прототип Unity, как описано

• ✅ Интеграция с парсером YAML

• ✅ Рабочие модели взаимодействия (голос, взгляд, жесты)

• ✅ Отслеживание времени на каждый шаг

• ✅ Кодовая база с документированной архитектурой, регулярно загружаемой на Github для контроля версий и совместной работы,

• ✅ Файлы проекта Unity и пакеты сборки

• ✅ Техническая передача и демонстрационная сессия

6. Сроки

Ожидаемый срок выполнения — 10 дней с момента подписания контракта.