Огляд прототипу крокової системи процесу змішаної реальності Unity
41 220 UAH 
Ми шукаємо кваліфікованого підрядника або незалежного розробника для подання пропозицій щодо розробки прототипу Mixed Reality (MR) на базі Unity для одного користувача, орієнтованого на пристрій PICO 4 Ultra Enterprise. Прототип забезпечить рукозвільний, керований поглядом та голосом інтерфейс для проведення користувачів через процедурні процеси за допомогою чек-листів, збережених у зовнішніх YAML файлах.
Це рішення розроблено як ранній демонстраційний додаток для показу можливостей іммерсивної продуктивності та навчання у рамках корпоративних та промислових робочих процесів.
2. Цілі
Мета цього контракту — співпрацювати з нами для проектування, спільної розробки та доставки робочого прототипу додатку Mixed Reality на базі PICO 4 Enterprise з використанням Unity, що включає наступне:
Рукозвільна взаємодія користувача
Керування поглядом, жестами та голосом
Модульне завантаження протоколів через зовнішній YAML
Відстеження тривалості роботи в реальному часі
Аудіовідгук та керівництво користувача
3. Функціональний обсяг та робочий процес
Підрядник повинен реалізувати наступний робочий процес користувача у Unity:
3.1 Вступ та налаштування
Користувач запускає додаток на гарнітурі PICO.
Додаток завантажує набір доступних процедурних робочих процесів з локально збережених YAML файлів.
Користувач обирає один протокол за допомогою погляду, взаємодії рукою або голосу.
3.2 Початок протоколу
Обраний протокол відображає титульний екран з коротким оглядом та видимою Кнопкою Старт.
(Protocol TitleтаTitle Descriptionаналізуються з YAML файлу)Запуск протоколу можливий трьома способами:
За допомогою жесту руки натиснути кнопку «Старт»
Утримуючи погляд на кнопці протягом 3 секунд
Виконавши голосову команду: «Start the Procedure»
3.3 Виконання протоколу
Після запуску:
Голос (з використанням Unity Sentis – Piper TTS) програє вступ до протоколу, інструкції з безпеки та керівництво по взаємодії.
(Protocol PreRequisites,Safety InstructionsтаPrimary Contactаналізуються з YAML файлу)Додаток починає запис екрана сесії (для перегляду).
Інтерфейс процедури підсвічує перші 6 кроків, з:
Повним інтерфейсом протоколу справа, ззовні поля зору, щоб уникнути перевантаження.
Активний крок закріплений у нижній частині поля зору користувача.
Методи навігації:
Погляд на галочку перевірки кроку протягом 3 секунд
Голосова команда: «Step {n} completed»
Система відстежує час, витрачений на кожен крок (у мілісекундах), і записує його у файл
{ISOdate}-sessionperformance.logСистема
3.4 Динамічні правила навігації
на правому інтерфейсі завжди відображаються:
Останні 2 завершені кроки
Наступні 3 кроки
Завершені кроки знебарвлені з легким зеленим відтінком і зеленим галочкою.
Активний крок підсвічений.
Майбутні кроки знебарвлені.
3.5 Завершення
Після завершення всіх кроків:
Показати візуальний та голосовий зведений екран.
Повернутися до екрану вибору протоколу.
4. Технічні вимоги та інтеграції
Рішення має бути реалізоване з використанням Unity (рекомендується версія LTS) та має інтегрувати наступні компоненти:
Базовий шаблон Unity, наданий клієнтом
PICO Unity Integration SDK
PICO Unity Live Preview Plugin
Unity Sentis
Whisper Tiny (Розпізнавання мовлення)
Piper TTS (Текст у мову)
MRTK3 Volumetric UI framework для іммерсивної взаємодії
Локальний завантажувач файлів та YAML парсер для завантаження протоколів
Приклад схеми YAML:
Protocol Title: "Запуск стерильної кімнати для приготування"
Protocol Title Description: "Валідуваний протокол для ініціації стерильних операцій у чистій кімнаті класу A/B."
Protocol Introduction: >
Цей протокол описує валідувані кроки, необхідні для запуску операцій у стерильній виробничій зоні.
Усі кроки мають виконуватися послідовно та підписуватися цифрово або за допомогою голосового/поглядового керування.
Protocol PreRequisites: >
Переконайтеся, що персонал правильно одягнений згідно з SOP-001-A.
Підтвердіть, що система моніторингу навколишнього середовища працює.
Переконайтеся, що системи HVAC та HEPA працюють безперервно щонайменше 30 хвилин перед початком.
Protocol Safety Instructions: >
Всі оператори повинні суворо дотримуватися асептичних технік.
Заборонено пропускати несанкціоновані матеріали у зону класу A.
Негайно повідомляйте про будь-які аномалії керівнику QA.
Protocol Primary Contact: "Dr. Lisa Meinhart, QA Supervisor, Ext. 2205"
Protocol Steps:
- step: 1
title: "Вхід у кімнату одягання"
instructions: "Дотримуйтесь повної стерильної процедури одягання згідно з SOP-001-A. Використовуйте дзеркало для перевірки повного покриття."
- step: 2
title: "Провести початкову дезінфекцію чистої кімнати"
instructions: "Використовуйте стерильні серветки, просочені спорицидним агентом, для дезінфекції всіх поверхонь з високим рівнем контакту у зоні класу B."
- step: 3
title: "Активувати системи моніторингу чистої кімнати"
instructions: "Перевірте та активуйте лічильник частинок, монітори різниці тиску та датчики температури/вологості. Запишіть значення."
- step: 4
title: "Підготувати та розмістити матеріали"
instructions: "Перенесіть попередньо схвалені стерильні матеріали у камеру пропуску. Протерти кожен предмет 70% IPA."
- step: 5
title: "Перевірка потоку повітря за допомогою диму (візуальна підтвердження)"
instructions: "Використовуйте стерильний димовий жезл для візуалізації одностороннього потоку повітря через робочі поверхні. Підтвердіть цілісність ламінарного потоку."
- step: 6
title: "Перевірка роботи HEPA-фільтра"
instructions: "Перевірте індикатори стану фільтра або зверніться до системи управління будівлею (BMS) для отримання даних у реальному часі."
- step: 7
title: "Перевірка очищення лінії"
instructions: "Переконайтеся, що виробнича зона вільна від залишків попередніх партій, з підписом QA."
- step: 8
title: "Документування параметрів навколишнього середовища"
instructions: "Записуйте температуру, RH%, різниці тисків у записі партії або в електронній системі реєстрації (eBR)."
- step: 9
title: "Дезінфекція рукавичок та входження у зону класу A"
instructions: "Обробіть стерильні рукавички спреєм 70% IPA перед входом у зону стерильної обробки."
- step: 10
title: "Початок виконання партії"
instructions: "Запустіть запис партії, відсканувавши ID партії та підтвердивши готовність матеріалів і обладнання."
5. Результати
Оголошений підрядник має доставити наступне:
✅ Повністю функціональний прототип Unity, описаний вище
✅ Інтеграція з YAML парсером
✅ Робочі моделі взаємодії (голос, погляд, жест)
✅ Відстеження часу на кожен крок
✅ Кодова база з задокументованою архітектурою, регулярно оновлювана на Github для контролю версій та співпраці,
✅ Файли проекту Unity та пакети збірки
✅ Технічна передача та демонстраційна сесія
6. Терміни
| Мітка | Опис | Кінцева дата |
|---|---|---|
| Старт | Брифінг, доступ до базового шаблону та SDK | День 1 |
| v0.010 | Функціональний потік без остаточного UI | День 4 |
| v0.011 | Інтеграція голосу та погляду з тестовим протоколом | День 8 |
| v0.012 | Повний прототип з реальним YAML протоколом та інструментами огляду | День 9 |
Ми очікуємо термін доставки 10 днів, починаючи з підписання контракту.
Тип користувача:
Оператор чистої кімнати:
Оператор чистої кімнати — це навчений технік, який працює у фармацевтичних, біотехнологічних або інших регульованих лабораторних середовищах, що вимагають суворого дотримання протоколів чистої кімнати (відповідність GMP). Оператори відповідають за виконання Стандартних операційних процедур (SOP) у стерильних або напівстерильних умовах, мінімізуючи ризики забруднення та дотримуючись безконтактних або мінімально інвазивних робочих процесів.
Ключові характеристики:
- Використовує гарнітуру Pico 4 Ultra Enterprise для перегляду та слідування SOP під час операцій
- Виконує процедури за допомогою погляду, голосових команд або жестів
- Потребує можливості перегляду минулих виконань та записаних сесій для QA поза додатком у нативному плеєрі гарнітури або на ноутбуці
Менеджер операцій:
Менеджер операцій відповідає за контроль роботи чистої кімнати, забезпечення відповідності регуляторним стандартам та управління процедурною документацією. Він контролює оптимізацію процесів і відповідає за завантаження, версійність та підтримку валідованих SOP у форматі YAML для використання оператором на пристрої Pico Ultra 4 Enterprise.
Ключові характеристики:
- Завантажує, керує та оновлює SOP на основі YAML у систему Pico
- Забезпечує послідовність контенту, інструкції з безпеки та локалізацію мови
- Може контролювати тенденції виконання операторів для QA або покращення процесів
- Зазвичай не носить гарнітуру, але взаємодіє з пристроєм як адміністратор
Користувацькі історії:
- Як оператор чистої кімнати, я хочу запустити додаток на нашому Pico 4 Ultra Enterprise, щоб слідувати Стандартній операційній процедурі, яку мені доручили виконати сьогодні.
- З урахуванням того, що я активував додаток, як оператор чистої кімнати, я хочу обрати призначену мені Стандартну операційну процедуру з переліку попередньо завантажених процедур, щоб виконати своє завдання
- З урахуванням того, що я обрав процедуру, як оператор чистої кімнати, я хочу прочитати короткий опис процедури та почути інструкції і передумови, щоб мати чітке розуміння процесу
- З урахуванням того, що я обрав процедуру і ознайомився з її коротким описом, безпекою та передумовами, я хочу почати процедуру, натиснувши пальцем, поглянувши на неї протягом 3 секунд або вказавши контролеру на початок, або голосовою командою “Почати процедуру”
- З урахуванням того, що я почав процедуру, центральний екран зникає з мого поля зору і показує список кроків, які потрібно виконати для даного процесу, щоб я міг мати чіткий огляд робочої поверхні, при цьому я маю доступ до потоку процесу праворуч, повернувши голову, і активний крок внизу мого поля зору.
- З урахуванням того, що я почав процес, як оператор чистої кімнати, рухаючись між кроками, я завжди бачу останні 2 завершені кроки та наступні 3, які потрібно зробити, щоб мати повне розуміння, де я знаходжусь у процесі.
- З урахуванням того, що я почав процес, як оператор чистої кімнати, я хочу, щоб система вимірювала час, витрачений на кожен крок, щоб я міг переглянути свою продуктивність у виконанні всіх або окремих SOP.
- З урахуванням того, що я почав процес, як оператор чистої кімнати, я хочу, щоб Pico 4 Ultra Enterprise записував моє відео, щоб я міг переглянути запис процедури у Video Player поза додатком.
- З урахуванням того, що я обрав Стандартну операційну процедуру, я хочу переглянути свою продуктивність для кожного виконання обраної SOP, щоб аналізувати вузькі місця та можливості покращення між виконаннями.
- З урахуванням того, що я обрав SOP, я хочу налаштувати параметри системи, щоб гарнітура була налаштована відповідно до моїх потреб для процедури. Параметри включають можливість вибору:
- Переключити голосову взаємодію вкл/викл
- Обрати режим взаємодії (тільки руки, тільки контролер, обидва)
- Обрати інтерфейс і мову TTS Piper між англійською, ірландською (тільки інтерфейс), французькою, латвійською, естонською та українською.
- Переключити відеозапис процедури вкл/викл
- Як менеджер операцій, я хочу завантажити наші Стандартні операційні процедури у форматі YAML на гарнітуру, щоб система могла отримати всі процедури та відобразити їх користувачу.
User Type:
Clean Room Operator:
A Clean Room Operator is a trained technician working in pharmaceutical, biotechnology, or other regulated lab environments that require strict adherence to cleanroom protocols (GMP-compliant). Operators are responsible for executing Standard Operating Procedures (SOPs) in sterile or semi-sterile environments while minimizing contamination risks and following hands-free or minimally invasive workflows.
Key Characteristics:
- Uses the Pico 4 Ultra Enterprise headset to view and follow SOPs during operations
- Executes procedures using gaze, voice commands, or gesture-based interactions
- Requires the ability to review past performances and recorded sessions for QA outside the application in the native player of the headset or on the laptop
Operations Manager:
The Operations Manager is responsible for supervising cleanroom operations, ensuring compliance with regulatory standards, and managing procedural documentation. They oversee process optimization and are responsible for uploading, versioning, and maintaining validated SOPs in YAML format for operator use on the Pico Ultra 4 Enterprise device.
Key Characteristics:
- Uploads, manages, and updates YAML-based SOPs onto the Pico system
- Ensures content consistency, safety instructions, and language localization
- May oversee operator performance trends for QA or process improvement
- Typically does not wear the headset but interacts with the device as an admin
User Stories:
- As a Clean Room Operator, I want to start the application on our Pico 4 Ultra Enterprise so that I can follow the Standard Operation Procedure that I’ve been requested to proceed today.
- Given that I have enabled the application, as a Clean Room Operator, I want to select the Standard Operation Procedure that I have been assigned to follow in a list of pre-uploaded procedure so that I can execute my task
- Given that I have selected the procedure, as a Clean Room Operator, I want to read a short description of the procedure and hear both instructions and prerequisites for the procedure so that I have a clear understanding of the process
- Given that I have selected the procedure, and read/heated the summary, safety and prerequisites as a Clean Room Operator, I want to start the procedure by either pressing with my finger on, stare for 3 seconds to or point the controller at start or verbally command the system to “Start the procedure”
- Given that I have started the procedure, the central screen glides out of my field of view and shows the list of steps I need to folllow for the given process so that I can have a clear field of view of my workbench while still having access to the process flow on my right when I turn my head and the active step at the bottom of my field of view.
- Given I have started the process, as a Clean Room Operator, while I move on through the steps, I always see the last 2 steps I have completed and the next 3 steps I will have to do so that I have a good understanding of where I am at, at all time of the process.
- Given I have started the process, as a Clean Room Operator, while I move on through the steps, I want the system to measure how long I spend on each step so that I can review my performance of all and each Standard Operation Procedure I have performed.
- Given I have started the process,as a Clean Room Operator, I want the Pico 4 Ultra Enterprise to record my feed so that I can playback the video of my procedure in Pico’s Video Player outside the application.
- Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to review my performance of each time that I executed the selected Standard Operating Procedure so that I can review bottleneck and improvement from one execution to the other.
- Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to edit the settings of the system so that I have the headset configured as I want for the procedure. Settings include the option for me to select:
- Toggle On/Off voice interaction
- Select the interaction modality (Hands only, Controller only, Both)
- Select the interface and Piper TTS language between English, Irish (interface only), French, Latvian, Estonian and Ukrainian.
- Toggle On/Off video recording of the procedure
- As an Operation Manager, I want to upload our company Standard Operation Procedures in YAML format onto the headset so that the system can retrieve all the procedures and parse them to the user.
Додатки 1
Dublin