Обзор прототипа пошагового процесса смешанной реальности Unity
41 220 UAH 
Мы ищем квалифицированного подрядчика или индивидуального разработчика для подачи предложений по разработке прототипа смешанной реальности (MR) на базе Unity для одного пользователя, ориентированного на устройство PICO 4 Ultra Enterprise. Прототип предоставит беспроводной, управляемый взглядом и голосом интерфейс для проведения пользователей через процедурные процессы с помощью чек-листов, хранящихся во внешних YAML-файлах.
Это решение предназначено как раннее демонстрационное приложение для демонстрации возможностей иммерсивной производительности и обучения в рамках корпоративных и промышленных рабочих процессов.
2. Цели
Цель этого контракта — совместно с нами разработать, спроектировать и предоставить рабочий прототип приложения смешанной реальности на PICO 4 Enterprise с использованием Unity, включающий следующее:
Беспроводное взаимодействие пользователя
Управление взглядом, жестами и голосом
Модульная загрузка протоколов через внешние YAML-файлы
Отслеживание времени выполнения в реальном времени
Аудиоотзывы и руководство пользователю
3. Функциональный объем и рабочий процесс
Подрядчик должен реализовать следующий рабочий процесс пользователя в Unity:
3.1 Ввод в работу и настройка
Пользователь запускает приложение на гарнитуре PICO.
Приложение загружает набор доступных процедурных рабочих процессов из локально сохраненных YAML файлов.
Пользователь выбирает один протокол с помощью взгляда, взаимодействия руками или голоса.
3.2 Запуск протокола
Выбранный протокол отображает титульный экран с кратким обзором и видимой Кнопкой запуска.
(Protocol TitleиTitle Descriptionразбираются из YAML файла)Протокол можно запустить тремя способами:
Используя жест руки для нажатия на кнопку «Start»
Держать взгляд на кнопку в течение 3 секунд
Произнести фразу «Start the Procedure»
3.3 Выполнение протокола
При запуске:
Голос (с использованием Unity Sentis – Piper TTS) воспроизводит введение в протокол, инструкции по безопасности и руководство по взаимодействию.
(Protocol PreRequisites,Safety InstructionsиPrimary Contactразбираются из YAML файла)Приложение запускает запись экрана сессии (для последующего анализа).
Интерфейс процедуры выделяет первые 6 шагов, с:
Полным интерфейсом протокола справа, за пределами поля зрения, чтобы избежать загромождения.
Активный шаг закреплен в нижней части поля зрения пользователя.
Методы навигации:
Взгляд на галочку шага в течение 3 секунд
Голосовая команда: «Step {n} completed»
Система отслеживает время, затраченное на каждый шаг (в миллисекундах), и записывает его в файл
{ISOdate}-sessionperformance.logСистема
3.4 Правила динамической навигации
в правом интерфейсе всегда отображать:
Последние 2 выполненных шага
Следующие 3 шага
Выполненные шаги отображаются серым с легким зеленым оттенком и зеленой галочкой.
Активный шаг выделен.
Будущие шаги отображаются серым.
3.5 Завершение
После завершения всех шагов:
Показать визуальный и голосовой итоговый экран.
Вернуться к экрану выбора протокола.
4. Технические требования и интеграции
Решение должно быть реализовано с использованием Unity (рекомендуется версия LTS) и должно интегрировать следующие компоненты:
Базовый шаблон Unity, предоставленный клиентом
PICO Unity Integration SDK
PICO Unity Live Preview Plugin
Unity Sentis
Whisper Tiny (распознавание речи)
Piper TTS (преобразование текста в речь)
MRTK3 Volumetric UI — фреймворк для иммерсивного взаимодействия
Локальный загрузчик файлов и YAML парсер для загрузки протоколов
Пример схемы YAML:
Protocol Title: "Sterile Compounding Room Startup"
Protocol Title Description: "Validated protocol for initiating sterile manufacturing operations in Grade A/B Cleanroom."
Protocol Introduction: >
Этот протокол описывает проверенные шаги, необходимые для запуска операций в стерильной производственной зоне.
Все шаги должны выполняться последовательно и подтверждаться цифровой подписью или голосовым/взглядовым управлением.
Protocol PreRequisites: >
Убедитесь, что персонал правильно одет согласно SOP-001-A.
Подтвердите работу системы мониторинга окружающей среды.
Убедитесь, что системы HVAC и HEPA фильтрации работают непрерывно не менее 30 минут перед началом.
Protocol Safety Instructions: >
Все операторы должны строго соблюдать асептические техники.
В зону Grade A не допускаются неавторизованные материалы.
Немедленно сообщайте о любых аномалиях руководителю QA.
Protocol Primary Contact: "Dr. Lisa Meinhart, QA Supervisor, Ext. 2205"
Protocol Steps:
- step: 1
title: "Enter Gowning Room"
instructions: "Follow full-body sterile gowning procedure according to SOP-001-A. Use mirror to verify full coverage."
- step: 2
title: "Perform Initial Cleanroom Disinfection"
instructions: "Using sterile wipes saturated with sporicidal agent, disinfect all high-touch surfaces in the Grade B area."
- step: 3
title: "Activate Cleanroom Monitoring Systems"
instructions: "Check and activate particle counter, differential pressure monitors, and temperature/humidity sensors. Log values."
- step: 4
title: "Prepare and Stage Materials"
instructions: "Transfer pre-approved sterile materials into the pass-through chamber. Wipe down each item with 70% IPA."
- step: 5
title: "Perform Airflow Smoke Test (Visual Confirmation)"
instructions: "Use sterile smoke wand to visualize unidirectional airflow across work surfaces. Confirm laminar flow integrity."
- step: 6
title: "Verify HEPA Filter Functionality"
instructions: "Check filter status indicators or refer to Building Management System (BMS) for реальное состояние работы."
- step: 7
title: "Confirm Line Clearance"
instructions: "Verify that the production suite is free from any previous batch remnants, with QA sign-off completed."
- step: 8
title: "Document Environmental Parameters"
instructions: "Log temperature, RH%, differential pressure readings in the batch record or eBR."
- step: 9
title: "Sanitize Gloves and Enter Grade A Zone"
instructions: "Sanitize sterile gloves with 70% IPA spray before entering the aseptic processing area."
- step: 10
title: "Begin Batch Execution"
instructions: "Initiate batch record by scanning lot ID and confirming material and equipment readiness."
5. Результаты
Назначенный подрядчик предоставит следующее:
✅ Полностью функционирующий прототип Unity, как описано
✅ Интеграция с парсером YAML
✅ Рабочие модели взаимодействия (голос, взгляд, жесты)
✅ Отслеживание времени на каждый шаг
✅ Кодовая база с документированной архитектурой, регулярно загружаемой на Github для контроля версий и совместной работы,
✅ Файлы проекта Unity и пакеты сборки
✅ Техническая передача и демонстрационная сессия
6. Сроки
| Этап | Описание | Крайний срок |
|---|---|---|
| Старт | Обзор, доступ к базовому шаблону и SDK | День 1 |
| v0.010 | Функциональный поток без финального интерфейса | День 4 |
| v0.011 | Интеграция голоса и взгляда с тестовым протоколом | День 8 |
| v0.012 | Полный прототип с реальным YAML-протоколом и инструментами для обзора | День 9 |
Ожидаемый срок выполнения — 10 дней с момента подписания контракта.
Тип пользователя:
Оператор чистой комнаты:
Оператор чистой комнаты — это обученный техник, работающий в фармацевтических, биотехнологических или других регулируемых лабораторных условиях, требующих строгого соблюдения протоколов чистой комнаты (соответствие GMP). Операторы отвечают за выполнение стандартных операционных процедур (SOP) в стерильных или полустерильных условиях, минимизируя риски загрязнения и следуя бесконтактным или минимально инвазивным рабочим процессам.
Ключевые характеристики:
- Использует гарнитуру Pico 4 Ultra Enterprise для просмотра и выполнения SOP во время операций
- Выполняет процедуры с помощью взгляда, голосовых команд или жестов
- Требуется возможность просматривать прошлые показатели и записанные сессии для контроля качества вне приложения в нативном плеере гарнитуры или на ноутбуке
Менеджер по операциям:
Менеджер по операциям отвечает за контроль работы чистой комнаты, обеспечение соблюдения нормативных стандартов и управление документацией по процедурам. Он следит за оптимизацией процессов и отвечает за загрузку, версионирование и поддержку валидированных SOP в формате YAML для использования оператором на устройстве Pico Ultra 4 Enterprise.
Ключевые характеристики:
- Загружает, управляет и обновляет SOP на базе YAML в систему Pico
- Обеспечивает согласованность контента, инструкции по безопасности и локализацию языка
- Может контролировать тенденции производительности операторов для контроля качества или улучшения процессов
- Обычно не носит гарнитуру, взаимодействует с устройством как администратор
Истории пользователей:
- Как оператор чистой комнаты, я хочу запустить приложение на нашем Pico 4 Ultra Enterprise, чтобы следовать стандартной операционной процедуре, которую мне поручили выполнить сегодня.
- Поскольку я активировал приложение, как оператор чистой комнаты, я хочу выбрать назначенную мне стандартную операционную процедуру из списка предварительно загруженных процедур, чтобы выполнить свою задачу
- Поскольку я выбрал процедуру, как оператор чистой комнаты, я хочу прочитать краткое описание процедуры и услышать инструкции и предпосылки, чтобы иметь четкое понимание процесса
- Поскольку я выбрал процедуру и ознакомился с кратким описанием, как оператор чистой комнаты, я хочу начать процедуру, нажав пальцем, уставившись на нее в течение 3 секунд или указав контроллером на старт, или произнеся голосовую команду «Начать процедуру»
- Поскольку я начал процедуру, центральный экран исчезает из моего поля зрения и показывает список шагов, которые я должен выполнить для данного процесса, чтобы иметь ясное поле зрения моей рабочей области, при этом я могу видеть поток процесса справа, повернув голову, и активный шаг в нижней части поля зрения.
- Поскольку я начал процесс, как оператор чистой комнаты, я хочу видеть последние 2 выполненных шага и следующие 3 шага, чтобы иметь хорошее представление о текущем положении в процессе.
- Поскольку я начал процесс, как оператор чистой комнаты, я хочу, чтобы система измеряла время, затраченное на каждый шаг, чтобы я мог просматривать свою производительность по всем выполненным стандартным операционным процедурам.
- Поскольку я начал процесс, как оператор чистой комнаты, я хочу, чтобы Pico 4 Ultra Enterprise записывал мой поток, чтобы я мог воспроизвести видео своей процедуры в видеоплеере Pico вне приложения.
- Поскольку я выбрал стандартную операционную процедуру, как оператор чистой комнаты, я хочу просматривать свою производительность по каждому выполненному разу выбранной процедуры, чтобы выявить узкие места и возможности для улучшения между выполнениями.
- Поскольку я выбрал стандартную операционную процедуру, как оператор чистой комнаты, я хочу настроить параметры системы, чтобы гарнитура была сконфигурирована по моему желанию для процедуры. Настройки включают возможность выбрать:
- Переключатель Вкл/Выкл голосового взаимодействия
- Выбор режима взаимодействия (только руки, только контроллер, оба)
- Выбор интерфейса и языка TTS Piper между английским, ирландским (только интерфейс), французским, латвийским, эстонским и украинским.
- Переключатель Вкл/Выкл видеозаписи процедуры
- Как менеджер по операциям, я хочу загрузить наши стандартные операционные процедуры в формате YAML на гарнитуру, чтобы система могла получать все процедуры и отображать их пользователю.
User Type:
Clean Room Operator:
A Clean Room Operator is a trained technician working in pharmaceutical, biotechnology, or other regulated lab environments that require strict adherence to cleanroom protocols (GMP-compliant). Operators are responsible for executing Standard Operating Procedures (SOPs) in sterile or semi-sterile environments while minimizing contamination risks and following hands-free or minimally invasive workflows.
Key Characteristics:
- Uses the Pico 4 Ultra Enterprise headset to view and follow SOPs during operations
- Executes procedures using gaze, voice commands, or gesture-based interactions
- Requires the ability to review past performances and recorded sessions for QA outside the application in the native player of the headset or on the laptop
Operations Manager:
The Operations Manager is responsible for supervising cleanroom operations, ensuring compliance with regulatory standards, and managing procedural documentation. They oversee process optimization and are responsible for uploading, versioning, and maintaining validated SOPs in YAML format for operator use on the Pico Ultra 4 Enterprise device.
Key Characteristics:
- Uploads, manages, and updates YAML-based SOPs onto the Pico system
- Ensures content consistency, safety instructions, and language localization
- May oversee operator performance trends for QA or process improvement
- Typically does not wear the headset but interacts with the device as an admin
User Stories:
- As a Clean Room Operator, I want to start the application on our Pico 4 Ultra Enterprise so that I can follow the Standard Operation Procedure that I’ve been requested to proceed today.
- Given that I have enabled the application, as a Clean Room Operator, I want to select the Standard Operation Procedure that I have been assigned to follow in a list of pre-uploaded procedure so that I can execute my task
- Given that I have selected the procedure, as a Clean Room Operator, I want to read a short description of the procedure and hear both instructions and prerequisites for the procedure so that I have a clear understanding of the process
- Given that I have selected the procedure, and read/heated the summary, safety and prerequisites as a Clean Room Operator, I want to start the procedure by either pressing with my finger on, stare for 3 seconds to or point the controller at start or verbally command the system to “Start the procedure”
- Given that I have started the procedure, the central screen glides out of my field of view and shows the list of steps I need to folllow for the given process so that I can have a clear field of view of my workbench while still having access to the process flow on my right when I turn my head and the active step at the bottom of my field of view.
- Given I have started the process, as a Clean Room Operator, while I move on through the steps, I always see the last 2 steps I have completed and the next 3 steps I will have to do so that I have a good understanding of where I am at, at all time of the process.
- Given I have started the process, as a Clean Room Operator, while I move on through the steps, I want the system to measure how long I spend on each step so that I can review my performance of all and each Standard Operation Procedure I have performed.
- Given I have started the process,as a Clean Room Operator, I want the Pico 4 Ultra Enterprise to record my feed so that I can playback the video of my procedure in Pico’s Video Player outside the application.
- Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to review my performance of each time that I executed the selected Standard Operating Procedure so that I can review bottleneck and improvement from one execution to the other.
- Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to edit the settings of the system so that I have the headset configured as I want for the procedure. Settings include the option for me to select:
- Toggle On/Off voice interaction
- Select the interaction modality (Hands only, Controller only, Both)
- Select the interface and Piper TTS language between English, Irish (interface only), French, Latvian, Estonian and Ukrainian.
- Toggle On/Off video recording of the procedure
- As an Operation Manager, I want to upload our company Standard Operation Procedures in YAML format onto the headset so that the system can retrieve all the procedures and parse them to the user.
Приложения 1
Dublin