Огляд прототипу крокової системи процесу змішаної реальності Unity

Ми шукаємо кваліфікованого підрядника або незалежного розробника для подання пропозицій щодо розробки прототипу Mixed Reality (MR) на базі Unity для одного користувача, орієнтованого на пристрій PICO 4 Ultra Enterprise. Прототип забезпечить рукозвільний, керований поглядом та голосом інтерфейс для проведення користувачів через процедурні процеси за допомогою чек-листів, збережених у зовнішніх YAML файлах.

Це рішення розроблено як ранній демонстраційний додаток для показу можливостей іммерсивної продуктивності та навчання у рамках корпоративних та промислових робочих процесів.

2. Цілі

Мета цього контракту — співпрацювати з нами для проектування, спільної розробки та доставки робочого прототипу додатку Mixed Reality на базі PICO 4 Enterprise з використанням Unity, що включає наступне:

• Рукозвільна взаємодія користувача

• Керування поглядом, жестами та голосом

• Модульне завантаження протоколів через зовнішній YAML

• Відстеження тривалості роботи в реальному часі

• Аудіовідгук та керівництво користувача

3. Функціональний обсяг та робочий процес

Підрядник повинен реалізувати наступний робочий процес користувача у Unity:

3.1 Вступ та налаштування

• Користувач запускає додаток на гарнітурі PICO.

• Додаток завантажує набір доступних процедурних робочих процесів з локально збережених YAML файлів.

• Користувач обирає один протокол за допомогою погляду, взаємодії рукою або голосу.

3.2 Початок протоколу

• Обраний протокол відображає титульний екран з коротким оглядом та видимою Кнопкою Старт.
  (Protocol Title та Title Description аналізуються з YAML файлу)

• Запуск протоколу можливий трьома способами:

  • За допомогою жесту руки натиснути кнопку «Старт»

  • Утримуючи погляд на кнопці протягом 3 секунд

  • Виконавши голосову команду: «Start the Procedure»

3.3 Виконання протоколу

• Після запуску:

  • Голос (з використанням Unity Sentis – Piper TTS) програє вступ до протоколу, інструкції з безпеки та керівництво по взаємодії.
    (Protocol PreRequisites, Safety Instructions та Primary Contact аналізуються з YAML файлу)

  • Додаток починає запис екрана сесії (для перегляду).

• Інтерфейс процедури підсвічує перші 6 кроків, з:

  • Повним інтерфейсом протоколу справа, ззовні поля зору, щоб уникнути перевантаження.

  • Активний крок закріплений у нижній частині поля зору користувача.

  • Методи навігації:

    • Погляд на галочку перевірки кроку протягом 3 секунд

    • Голосова команда: «Step {n} completed»

  • Система відстежує час, витрачений на кожен крок (у мілісекундах), і записує його у файл {ISOdate}-sessionperformance.log

  • Система

3.4 Динамічні правила навігації

• на правому інтерфейсі завжди відображаються:

  • Останні 2 завершені кроки

  • Наступні 3 кроки

• Завершені кроки знебарвлені з легким зеленим відтінком і зеленим галочкою.

• Активний крок підсвічений.

• Майбутні кроки знебарвлені.

3.5 Завершення

• Після завершення всіх кроків:

  • Показати візуальний та голосовий зведений екран.

  • Повернутися до екрану вибору протоколу.

4. Технічні вимоги та інтеграції

Рішення має бути реалізоване з використанням Unity (рекомендується версія LTS) та має інтегрувати наступні компоненти:

• Базовий шаблон Unity, наданий клієнтом

• PICO Unity Integration SDK

• PICO Unity Live Preview Plugin

• Unity Sentis

  • Whisper Tiny (Розпізнавання мовлення)

  • Piper TTS (Текст у мову)

• MRTK3 Volumetric UI framework для іммерсивної взаємодії

• Локальний завантажувач файлів та YAML парсер для завантаження протоколів

Приклад схеми YAML:

Protocol Title: "Запуск стерильної кімнати для приготування"

Protocol Title Description: "Валідуваний протокол для ініціації стерильних операцій у чистій кімнаті класу A/B."

Protocol Introduction: >
  Цей протокол описує валідувані кроки, необхідні для запуску операцій у стерильній виробничій зоні. 
  Усі кроки мають виконуватися послідовно та підписуватися цифрово або за допомогою голосового/поглядового керування.

Protocol PreRequisites: >
  Переконайтеся, що персонал правильно одягнений згідно з SOP-001-A.
  Підтвердіть, що система моніторингу навколишнього середовища працює.
  Переконайтеся, що системи HVAC та HEPA працюють безперервно щонайменше 30 хвилин перед початком.

Protocol Safety Instructions: >
  Всі оператори повинні суворо дотримуватися асептичних технік.
  Заборонено пропускати несанкціоновані матеріали у зону класу A.
  Негайно повідомляйте про будь-які аномалії керівнику QA.

Protocol Primary Contact: "Dr. Lisa Meinhart, QA Supervisor, Ext. 2205"

Protocol Steps:
  - step: 1
    title: "Вхід у кімнату одягання"
    instructions: "Дотримуйтесь повної стерильної процедури одягання згідно з SOP-001-A. Використовуйте дзеркало для перевірки повного покриття."
  
  - step: 2
    title: "Провести початкову дезінфекцію чистої кімнати"
    instructions: "Використовуйте стерильні серветки, просочені спорицидним агентом, для дезінфекції всіх поверхонь з високим рівнем контакту у зоні класу B."

  - step: 3
    title: "Активувати системи моніторингу чистої кімнати"
    instructions: "Перевірте та активуйте лічильник частинок, монітори різниці тиску та датчики температури/вологості. Запишіть значення."

  - step: 4
    title: "Підготувати та розмістити матеріали"
    instructions: "Перенесіть попередньо схвалені стерильні матеріали у камеру пропуску. Протерти кожен предмет 70% IPA."

  - step: 5
    title: "Перевірка потоку повітря за допомогою диму (візуальна підтвердження)"
    instructions: "Використовуйте стерильний димовий жезл для візуалізації одностороннього потоку повітря через робочі поверхні. Підтвердіть цілісність ламінарного потоку."

  - step: 6
    title: "Перевірка роботи HEPA-фільтра"
    instructions: "Перевірте індикатори стану фільтра або зверніться до системи управління будівлею (BMS) для отримання даних у реальному часі."

  - step: 7
    title: "Перевірка очищення лінії"
    instructions: "Переконайтеся, що виробнича зона вільна від залишків попередніх партій, з підписом QA."

  - step: 8
    title: "Документування параметрів навколишнього середовища"
    instructions: "Записуйте температуру, RH%, різниці тисків у записі партії або в електронній системі реєстрації (eBR)."

  - step: 9
    title: "Дезінфекція рукавичок та входження у зону класу A"
    instructions: "Обробіть стерильні рукавички спреєм 70% IPA перед входом у зону стерильної обробки."

  - step: 10
    title: "Початок виконання партії"
    instructions: "Запустіть запис партії, відсканувавши ID партії та підтвердивши готовність матеріалів і обладнання."

5. Результати

Оголошений підрядник має доставити наступне:

• ✅ Повністю функціональний прототип Unity, описаний вище

• ✅ Інтеграція з YAML парсером

• ✅ Робочі моделі взаємодії (голос, погляд, жест)

• ✅ Відстеження часу на кожен крок

• ✅ Кодова база з задокументованою архітектурою, регулярно оновлювана на Github для контролю версій та співпраці,

• ✅ Файли проекту Unity та пакети збірки

• ✅ Технічна передача та демонстраційна сесія

6. Терміни

Ми очікуємо термін доставки 10 днів, починаючи з підписання контракту.