Przegląd prototypu krokującego procesu mieszanej rzeczywistości Unity

Poszukujemy wykwalifikowanego wykonawcy lub indywidualnego dewelopera do złożenia ofert na rozwój prototypu Mixed Reality (MR) opartego na Unity dla pojedynczego użytkownika, skierowanego na urządzenie PICO 4 Ultra Enterprise. Prototyp zapewni interfejs bez użycia rąk, sterowany wzrokiem i głosem, który poprowadzi użytkowników przez procedury za pomocą list kontrolnych przechowywanych w zewnętrznych plikach YAML.

To rozwiązanie jest zaprojektowane jako wczesna demonstracja, mająca na celu pokazanie możliwości immersyjnej produktywności i szkolenia w ramach przepływów pracy w przedsiębiorstwach i przemyśle.

2. Cele

Celem tego kontraktu jest współpraca z nami w zaprojektowaniu, współtworzeniu i dostarczeniu działającego prototypu aplikacji MR na PICO 4 Enterprise przy użyciu Unity, obejmującego następujące elementy:

• Interakcja użytkownika bez użycia rąk

• Sterowanie wzrokiem, gestami i głosem

• Modularne ładowanie protokołów za pomocą zewnętrznego YAML

• Śledzenie czasu trwania poszczególnych etapów w czasie rzeczywistym

• Informacja zwrotna dźwiękowa i wskazówki dla użytkownika

3. Zakres funkcjonalny i przepływ pracy

Wykonawca będzie zobowiązany do wdrożenia następującego przepływu użytkownika w Unity:

3.1 Wprowadzenie i konfiguracja

• Użytkownik uruchamia aplikację na zestawie PICO.

• Aplikacja ładuje dostępne procedury z lokalnie przechowywanych plików YAML.

Użytkownik wybiera jeden protokół za pomocą wzroku, interakcji ręką lub głosem.

3.2 Rozpoczęcie protokołu

• Wybrany protokół wyświetla ekran tytułowy z krótkim przeglądem i widocznym Przycisk Start.
  (Protocol Title i Title Description parsowane z pliku YAML)

• Protokół można rozpocząć na trzy sposoby:

  • Używając gestu ręki do naciśnięcia przycisku „Start”

  • Utrzymując wzrok na przycisku przez 3 sekundy

  • Wypowiadając frazę „Start the Procedure”

3.3 Wykonanie protokołu

• Po rozpoczęciu:

  • Głos (z użyciem Unity Sentis – Piper TTS) odtwarza wprowadzenie do protokołu, instrukcje bezpieczeństwa i wskazówki dotyczące interakcji.
    (Protocol PreRequisites, Safety Instructions i Primary Contact parsowane z pliku YAML)

  • Aplikacja rozpoczyna nagrywanie ekranu sesji (do celów przeglądu).

• Interfejs użytkownika podświetla pierwsze 6 kroków, z:

  • Pełnym interfejsem protokołu po prawej stronie, poza polem widzenia, aby uniknąć zagracenia.

  • Aktywny krok umieszczony na dole pola widzenia użytkownika.

  • Sposoby nawigacji:

    • Wzrokiem na znacznik potwierdzenia kroku przez 3 sekundy

    • Komendą głosową: „Step {n} completed”

  • System śledzi czas spędzony na każdym kroku (w milisekundach) i zapisuje go w pliku {ISOdate}-sessionperformance.log

  • System 

3.4 Dynamiczne zasady nawigacji

• w prawej części UI zawsze wyświetla:

  • Ostatnie 2 ukończone kroki

  • Następne 3 kroki

• Ukończone kroki są wyszarzone z lekkim zielonym odcieniem i zielonym znakiem wyboru.

• Aktywny krok jest podświetlony.

• Przyszłe kroki są wyszarzone.

3.5 Zakończenie

• Po ukończeniu wszystkich kroków:

  • Wyświetla się wizualne i głosowe podsumowanie.

  • Powrót do ekranu wyboru protokołu.

4. Wymagania techniczne i integracje

Rozwiązanie musi być zaimplementowane przy użyciu Unity (zalecana wersja LTS) i musi integrować następujące komponenty:

• Szablon bazowy Unity dostarczony przez klienta

• SDK integracji Unity PICO

• Wtyczka podglądu na żywo Unity PICO

• Unity Sentis

  • Whisper Tiny (rozpoznawanie mowy)

  • Piper TTS (synteza mowy)

• Framework MRTK3 Volumetric UI do immersyjnej interakcji

• Lokalny loader plików i parser YAML do ładowania protokołów

Przykład schematu YAML:

Protocol Title: „Sterylna Komora Przygotowawcza”
Protocol Title Description: „Zweryfikowany protokół inicjujący operacje produkcji sterylnej w klasie A/B.”
Protocol Introduction: >
  Ten protokół opisuje zweryfikowane kroki niezbędne do rozpoczęcia operacji w sterylnej komorze produkcyjnej.
  Wszystkie kroki muszą być wykonane w kolejności i zatwierdzone cyfrowo lub za pomocą kontroli głosem/wzrokiem.
Protocol PreRequisites: >
  Upewnij się, że personel jest odpowiednio ubrany zgodnie z SOP-001-A.
  Potwierdź, że system monitorowania środowiska działa poprawnie.
  Upewnij się, że systemy HVAC i HEPA pracowały nieprzerwanie przez co najmniej 30 minut przed rozpoczęciem.
Protocol Safety Instructions: >
  Wszyscy operatorzy muszą ściśle przestrzegać technik aseptycznych.
  Żadne nieautoryzowane materiały nie mogą wejść do strefy klasy A.
  Natychmiast zgłaszaj wszelkie anomalie do nadzorcy QA.
Protocol Primary Contact: „Dr Lisa Meinhart, Nadzorca QA, tel. 2205”
Protocol Steps:
  - krok: 1
    tytuł: „Wejście do pomieszczenia odzieżowego”
    instrukcje: „Postępuj zgodnie z pełną procedurą odzieżową sterylną według SOP-001-A. Użyj lustra, aby zweryfikować pełne pokrycie.”
  
  - krok: 2
    tytuł: „Wykonaj wstępną dezynfekcję pomieszczenia”
    instrukcje: „Używając sterylnych chusteczek nasączonych środkiem sporobidalnym, zdezynfekuj wszystkie powierzchnie wysokiego kontaktu w obszarze klasy B.”
  - krok: 3
    tytuł: „Aktywuj systemy monitorowania pomieszczenia”
    instrukcje: „Sprawdź i aktywuj licznik cząstek, monitory różnicy ciśnień i czujniki temperatury/wilgotności. Zapisz wartości.”
  - krok: 4
    tytuł: „Przygotuj i ustaw materiały”
    instrukcje: „Przenieś wcześniej zatwierdzone sterylne materiały do komory przejściowej. Przetrzyj każdy przedmiot 70% IPA.”
  - krok: 5
    tytuł: „Przeprowadź test przepływu powietrza z dymem (wizualna kontrola)”
    instrukcje: „Użyj sterylnego różdżki dymnej, aby zwizualizować jednokierunkowy przepływ powietrza nad powierzchniami roboczymi. Potwierdź integralność laminarnego przepływu.”
  - krok: 6
    tytuł: „Sprawdź funkcjonowanie filtra HEPA”
    instrukcje: „Sprawdź wskaźniki statusu filtra lub odwołaj się do Systemu Zarządzania Budynkiem (BMS) po dane o wydajności w czasie rzeczywistym.”
  - krok: 7
    tytuł: „Zweryfikuj czystość linii”
    instrukcje: „Upewnij się, że komora produkcyjna jest wolna od pozostałości poprzednich partii, z zatwierdzeniem QA.”
  - krok: 8
    tytuł: „Dokumentuj parametry środowiskowe”
    instrukcje: „Zapisz temperaturę, RH%, odczyty różnicy ciśnień w rejestrze partii lub eBR.”
  - krok: 9
    tytuł: „Zdezynfekuj rękawice i wejdź do strefy A”
    instrukcje: „Zdezynfekuj sterylne rękawice sprayem 70% IPA przed wejściem do obszaru aseptycznego.”
  - krok: 10
    tytuł: „Rozpocznij wykonanie partii”
    instrukcje: „Rozpocznij zapis partii, skanując ID partii i potwierdzając gotowość materiałów i sprzętu.”
5. Wyniki
Wyznaczony wykonawca dostarczy następujące elementy:
✅ W pełni funkcjonalny prototyp Unity zgodnie z opisem
✅ Integracja z parserem YAML
✅ Działające modele interakcji (głos, wzrok, gest)
✅ Śledzenie czasu na krok
✅ Kod źródłowy z udokumentowaną architekturą, regularnie przesyłany na Github w celu kontroli wersji i współpracy,
✅ Pliki projektu Unity i pakiety do kompilacji
✅ Sesja przekazania technicznego i omówienia
6. Harmonogram
Kamień milowy
Opis
Termin realizacji
Kick-off
Briefing, dostęp do szablonu bazowego i SDK
Dzień 1
v0.010
Funkcjonalny przepływ bez końcowego UI
Dzień 4
v0.011
Integracja głosu i wzroku z testowym protokołem
Dzień 8
v0.012
Pełny prototyp z rzeczywistym protokołem YAML i narzędziami do przeglądu
Dzień 9
Oczekujemy dostawy w ciągu 10 dni od podpisania umowy.


                
                            

            

                                    
 Aktualizacja #1 od 30 lipca 2025, 18:44
                    
                                            

                            
Typ użytkownika:
Operator czystego pomieszczenia:
Operator czystego pomieszczenia to wykwalifikowany technik pracujący w farmaceutycznych, biotechnologicznych lub innych regulowanych laboratoriach, które wymagają ścisłego przestrzegania protokołów czystego pomieszczenia (zgodnych z GMP). Operatorzy są odpowiedzialni za wykonywanie Standardowych Procedur Operacyjnych (SOP) w sterylnych lub półsterilnych środowiskach, minimalizując ryzyko zanieczyszczenia i stosując workflow bez użycia rąk lub minimalnie inwazyjne.

Kluczowe cechy:
Używa zestawu Pico 4 Ultra Enterprise do oglądania i śledzenia SOP podczas operacji
Wykonuje procedury za pomocą spojrzenia, poleceń głosowych lub gestów
Wymaga możliwości przeglądania poprzednich wyników i nagranych sesji w celu kontroli jakości poza aplikacją, w natywnym odtwarzaczu zestawu lub na laptopie

Kierownik operacji:
Kierownik operacji jest odpowiedzialny za nadzorowanie działań w czystym pomieszczeniu, zapewnienie zgodności z normami regulacyjnymi oraz zarządzanie dokumentacją proceduralną. Nadzoruje optymalizację procesów i jest odpowiedzialny za przesyłanie, wersjonowanie i utrzymanie zwalidowanych SOP w formacie YAML do użytku operatorów na urządzeniu Pico Ultra 4 Enterprise.

Kluczowe cechy:
Przesyła, zarządza i aktualizuje SOP oparte na YAML na systemie Pico
Zapewnia spójność treści, instrukcje bezpieczeństwa i lokalizację językową
Może nadzorować trendy wydajności operatorów dla kontroli jakości lub poprawy procesów
Zazwyczaj nie nosi zestawu, ale wchodzi w interakcję z urządzeniem jako administrator

Historie użytkowników:
Jako operator czystego pomieszczenia, chcę uruchomić aplikację na naszym Pico 4 Ultra Enterprise, aby móc śledzić Standardową Procedurę Operacyjną, którą mam dzisiaj wykonać.
Zakładając, że włączyłem aplikację, jako operator czystego pomieszczenia, chcę wybrać przypisaną mi Standardową Procedurę Operacyjną z listy wcześniej przesłanych procedur, aby móc wykonać moje zadanie
Zakładając, że wybrałem procedurę, jako operator czystego pomieszczenia, chcę przeczytać krótki opis procedury i usłyszeć instrukcje oraz warunki wstępne, aby mieć jasne zrozumienie procesu
Zakładając, że wybrałem procedurę i przeczytałem/obejrzałem podsumowanie, instrukcje bezpieczeństwa i warunki wstępne, jako operator czystego pomieszczenia, chcę rozpocząć procedurę, naciskając palcem, patrząc na nią przez 3 sekundy lub wskazując kontrolerem na start albo wydając komendę głosową „Start the procedure”
Zakładając, że rozpocząłem procedurę, centralny ekran przesuwa się z mojego pola widzenia i pokazuje listę kroków, które muszę wykonać, aby mieć jasny widok na stanowisko pracy, jednocześnie mając dostęp do przepływu procesu po prawej stronie, gdy odwracam głowę, oraz aktywny krok na dole pola widzenia.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, podczas przechodzenia przez kroki, zawsze widzę ostatnie 2 kroki, które ukończyłem, oraz następne 3 kroki do wykonania, aby mieć dobre wyobrażenie o tym, gdzie się znajduję w procesie.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, podczas przechodzenia przez kroki, chcę, aby system mierzył czas spędzony na każdym kroku, aby móc przejrzeć swoją wydajność w wykonywaniu wszystkich i poszczególnych SOP.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, chcę, aby Pico 4 Ultra Enterprise nagrywało mój obraz, aby móc odtworzyć wideo z procedury w odtwarzaczu wideo Pico poza aplikacją.
Zakładając, że wybrałem Standardową Procedurę Operacyjną, jako operator czystego pomieszczenia, chcę przejrzeć swoją wydajność dla każdego wykonania wybranej SOP, aby móc zidentyfikować wąskie gardła i możliwości poprawy między kolejnymi wykonaniami.
Zakładając, że wybrałem SOP, jako operator czystego pomieszczenia, chcę edytować ustawienia systemu, aby skonfigurować zestaw zgodnie z moimi preferencjami do procedury. Ustawienia obejmują opcję wyboru:
Włącz/wyłącz interakcję głosową
Wybierz modalność interakcji (Tylko ręce, Tylko kontroler, Obie)
Wybierz interfejs i język Piper TTS spośród angielskiego, irlandzkiego (tylko interfejsu), francuskiego, łotewskiego, estońskiego i ukraińskiego
Włącz/wyłącz nagrywanie wideo z procedury
Jako kierownik operacji, chcę przesłać nasze firmowe SOP w formacie YAML na zestaw, aby system mógł pobrać wszystkie procedury i wyświetlić je użytkownikowi.
                        

                        

                            
User Type:
Clean Room Operator:
A Clean Room Operator is a trained technician working in pharmaceutical, biotechnology, or other regulated lab environments that require strict adherence to cleanroom protocols (GMP-compliant). Operators are responsible for executing Standard Operating Procedures (SOPs) in sterile or semi-sterile environments while minimizing contamination risks and following hands-free or minimally invasive workflows.

Key Characteristics:
Uses the Pico 4 Ultra Enterprise headset to view and follow SOPs during operations
Executes procedures using gaze, voice commands, or gesture-based interactions
Requires the ability to review past performances and recorded sessions for QA outside the application in the native player of the headset or on the laptop

Operations Manager:
The Operations Manager is responsible for supervising cleanroom operations, ensuring compliance with regulatory standards, and managing procedural documentation. They oversee process optimization and are responsible for uploading, versioning, and maintaining validated SOPs in YAML format for operator use on the Pico Ultra 4 Enterprise device.

Key Characteristics:
Uploads, manages, and updates YAML-based SOPs onto the Pico system
Ensures content consistency, safety instructions, and language localization
May oversee operator performance trends for QA or process improvement
Typically does not wear the headset but interacts with the device as an admin

User Stories:
As a Clean Room Operator, I want to start the application on our Pico 4 Ultra Enterprise so that I can follow the Standard Operation Procedure that I’ve been requested to proceed today.
Given that I have enabled the application, as a Clean Room Operator, I want to select the Standard Operation Procedure that I have been assigned to follow in a list of pre-uploaded procedure so that I can execute my task
Given that I have selected the procedure, as a Clean Room Operator, I want to read a short description of the procedure and hear both instructions and prerequisites for the procedure so that I have a clear understanding of the process
Given that I have selected the procedure, and read/heated the summary, safety and prerequisites as a Clean Room Operator, I want to start the procedure by either pressing with my finger on, stare for 3 seconds to or point the controller at start or verbally command the system to “Start the procedure”
Given that I have started the procedure, the central screen glides out of my field of view and shows the list of steps I need to folllow for the given process so that I can have a clear field of view of my workbench while still having access to the process flow on my right when I turn my head and the active step at the bottom of my field of view.
Given I have started the process, as a Clean Room Operator, while I move on through the steps, I always see the last 2 steps I have completed and the next 3 steps I will have to do so that I have a good understanding of where I am at, at all time of the process.
Given I have started the process, as a Clean Room Operator, while I move on through the steps, I want the system to measure how long I spend on each step so that I can review my performance of all and each Standard Operation Procedure I have performed.
Given I have started the process,as a Clean Room Operator, I want the Pico 4 Ultra Enterprise to record my feed so that I can playback the video of my procedure in Pico’s Video Player outside the application.
Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to review my performance of each time that I executed the selected Standard Operating Procedure so that I can review bottleneck and improvement from one execution to the other.
Given I have selected a Standard Operating Procedure, As a Clean Room Operator, I want to edit the settings of the system so that I have the headset configured as I want for the procedure. Settings include the option for me to select:
Toggle On/Off voice interaction
Select the interaction modality (Hands only, Controller only, Both)
Select the interface and Piper TTS language between English, Irish (interface only), French, Latvian, Estonian and Ukrainian.
Toggle On/Off video recording of the procedure
As an Operation Manager, I want to upload our company Standard Operation Procedures in YAML format onto the headset so that the system can retrieve all the procedures and parse them to the user.