Przegląd prototypu krokującego procesu mieszanej rzeczywistości Unity

Poszukujemy wykwalifikowanego wykonawcy lub indywidualnego dewelopera do złożenia ofert na rozwój prototypu Mixed Reality (MR) opartego na Unity dla pojedynczego użytkownika, skierowanego na urządzenie PICO 4 Ultra Enterprise. Prototyp zapewni interfejs bez użycia rąk, sterowany wzrokiem i głosem, który poprowadzi użytkowników przez procedury za pomocą list kontrolnych przechowywanych w zewnętrznych plikach YAML.

To rozwiązanie jest zaprojektowane jako wczesna demonstracja, mająca na celu pokazanie możliwości immersyjnej produktywności i szkolenia w ramach przepływów pracy w przedsiębiorstwach i przemyśle.

2. Cele

Celem tego kontraktu jest współpraca z nami w zaprojektowaniu, współtworzeniu i dostarczeniu działającego prototypu aplikacji MR na PICO 4 Enterprise przy użyciu Unity, obejmującego następujące elementy:

• Interakcja użytkownika bez użycia rąk

• Sterowanie wzrokiem, gestami i głosem

• Modularne ładowanie protokołów za pomocą zewnętrznego YAML

• Śledzenie czasu trwania poszczególnych etapów w czasie rzeczywistym

• Informacja zwrotna dźwiękowa i wskazówki dla użytkownika

3. Zakres funkcjonalny i przepływ pracy

Wykonawca będzie zobowiązany do wdrożenia następującego przepływu użytkownika w Unity:

3.1 Wprowadzenie i konfiguracja

• Użytkownik uruchamia aplikację na zestawie PICO.

• Aplikacja ładuje dostępne procedury z lokalnie przechowywanych plików YAML.

Użytkownik wybiera jeden protokół za pomocą wzroku, interakcji ręką lub głosem.

3.2 Rozpoczęcie protokołu

• Wybrany protokół wyświetla ekran tytułowy z krótkim przeglądem i widocznym Przycisk Start.
  (Protocol Title i Title Description parsowane z pliku YAML)

• Protokół można rozpocząć na trzy sposoby:

  • Używając gestu ręki do naciśnięcia przycisku „Start”

  • Utrzymując wzrok na przycisku przez 3 sekundy

  • Wypowiadając frazę „Start the Procedure”

3.3 Wykonanie protokołu

• Po rozpoczęciu:

  • Głos (z użyciem Unity Sentis – Piper TTS) odtwarza wprowadzenie do protokołu, instrukcje bezpieczeństwa i wskazówki dotyczące interakcji.
    (Protocol PreRequisites, Safety Instructions i Primary Contact parsowane z pliku YAML)

  • Aplikacja rozpoczyna nagrywanie ekranu sesji (do celów przeglądu).

• Interfejs użytkownika podświetla pierwsze 6 kroków, z:

  • Pełnym interfejsem protokołu po prawej stronie, poza polem widzenia, aby uniknąć zagracenia.

  • Aktywny krok umieszczony na dole pola widzenia użytkownika.

  • Sposoby nawigacji:

    • Wzrokiem na znacznik potwierdzenia kroku przez 3 sekundy

    • Komendą głosową: „Step {n} completed”

  • System śledzi czas spędzony na każdym kroku (w milisekundach) i zapisuje go w pliku {ISOdate}-sessionperformance.log

  • System 

3.4 Dynamiczne zasady nawigacji

• w prawej części UI zawsze wyświetla:

  • Ostatnie 2 ukończone kroki

  • Następne 3 kroki

• Ukończone kroki są wyszarzone z lekkim zielonym odcieniem i zielonym znakiem wyboru.

• Aktywny krok jest podświetlony.

• Przyszłe kroki są wyszarzone.

3.5 Zakończenie

• Po ukończeniu wszystkich kroków:

  • Wyświetla się wizualne i głosowe podsumowanie.

  • Powrót do ekranu wyboru protokołu.

4. Wymagania techniczne i integracje

Rozwiązanie musi być zaimplementowane przy użyciu Unity (zalecana wersja LTS) i musi integrować następujące komponenty:

• Szablon bazowy Unity dostarczony przez klienta

• SDK integracji Unity PICO

• Wtyczka podglądu na żywo Unity PICO

• Unity Sentis

  • Whisper Tiny (rozpoznawanie mowy)

  • Piper TTS (synteza mowy)

• Framework MRTK3 Volumetric UI do immersyjnej interakcji

• Lokalny loader plików i parser YAML do ładowania protokołów

Przykład schematu YAML:

Protocol Title: „Sterylna Komora Przygotowawcza”
Protocol Title Description: „Zweryfikowany protokół inicjujący operacje produkcji sterylnej w klasie A/B.”
Protocol Introduction: >
  Ten protokół opisuje zweryfikowane kroki niezbędne do rozpoczęcia operacji w sterylnej komorze produkcyjnej.
  Wszystkie kroki muszą być wykonane w kolejności i zatwierdzone cyfrowo lub za pomocą kontroli głosem/wzrokiem.
Protocol PreRequisites: >
  Upewnij się, że personel jest odpowiednio ubrany zgodnie z SOP-001-A.
  Potwierdź, że system monitorowania środowiska działa poprawnie.
  Upewnij się, że systemy HVAC i HEPA pracowały nieprzerwanie przez co najmniej 30 minut przed rozpoczęciem.
Protocol Safety Instructions: >
  Wszyscy operatorzy muszą ściśle przestrzegać technik aseptycznych.
  Żadne nieautoryzowane materiały nie mogą wejść do strefy klasy A.
  Natychmiast zgłaszaj wszelkie anomalie do nadzorcy QA.
Protocol Primary Contact: „Dr Lisa Meinhart, Nadzorca QA, tel. 2205”
Protocol Steps:
  - krok: 1
    tytuł: „Wejście do pomieszczenia odzieżowego”
    instrukcje: „Postępuj zgodnie z pełną procedurą odzieżową sterylną według SOP-001-A. Użyj lustra, aby zweryfikować pełne pokrycie.”
  
  - krok: 2
    tytuł: „Wykonaj wstępną dezynfekcję pomieszczenia”
    instrukcje: „Używając sterylnych chusteczek nasączonych środkiem sporobidalnym, zdezynfekuj wszystkie powierzchnie wysokiego kontaktu w obszarze klasy B.”
  - krok: 3
    tytuł: „Aktywuj systemy monitorowania pomieszczenia”
    instrukcje: „Sprawdź i aktywuj licznik cząstek, monitory różnicy ciśnień i czujniki temperatury/wilgotności. Zapisz wartości.”
  - krok: 4
    tytuł: „Przygotuj i ustaw materiały”
    instrukcje: „Przenieś wcześniej zatwierdzone sterylne materiały do komory przejściowej. Przetrzyj każdy przedmiot 70% IPA.”
  - krok: 5
    tytuł: „Przeprowadź test przepływu powietrza z dymem (wizualna kontrola)”
    instrukcje: „Użyj sterylnego różdżki dymnej, aby zwizualizować jednokierunkowy przepływ powietrza nad powierzchniami roboczymi. Potwierdź integralność laminarnego przepływu.”
  - krok: 6
    tytuł: „Sprawdź funkcjonowanie filtra HEPA”
    instrukcje: „Sprawdź wskaźniki statusu filtra lub odwołaj się do Systemu Zarządzania Budynkiem (BMS) po dane o wydajności w czasie rzeczywistym.”
  - krok: 7
    tytuł: „Zweryfikuj czystość linii”
    instrukcje: „Upewnij się, że komora produkcyjna jest wolna od pozostałości poprzednich partii, z zatwierdzeniem QA.”
  - krok: 8
    tytuł: „Dokumentuj parametry środowiskowe”
    instrukcje: „Zapisz temperaturę, RH%, odczyty różnicy ciśnień w rejestrze partii lub eBR.”
  - krok: 9
    tytuł: „Zdezynfekuj rękawice i wejdź do strefy A”
    instrukcje: „Zdezynfekuj sterylne rękawice sprayem 70% IPA przed wejściem do obszaru aseptycznego.”
  - krok: 10
    tytuł: „Rozpocznij wykonanie partii”
    instrukcje: „Rozpocznij zapis partii, skanując ID partii i potwierdzając gotowość materiałów i sprzętu.”
5. Wyniki
Wyznaczony wykonawca dostarczy następujące elementy:
✅ W pełni funkcjonalny prototyp Unity zgodnie z opisem
✅ Integracja z parserem YAML
✅ Działające modele interakcji (głos, wzrok, gest)
✅ Śledzenie czasu na krok
✅ Kod źródłowy z udokumentowaną architekturą, regularnie przesyłany na Github w celu kontroli wersji i współpracy,
✅ Pliki projektu Unity i pakiety do kompilacji
✅ Sesja przekazania technicznego i omówienia
6. Harmonogram
Kamień milowy
Opis
Termin realizacji
Kick-off
Briefing, dostęp do szablonu bazowego i SDK
Dzień 1
v0.010
Funkcjonalny przepływ bez końcowego UI
Dzień 4
v0.011
Integracja głosu i wzroku z testowym protokołem
Dzień 8
v0.012
Pełny prototyp z rzeczywistym protokołem YAML i narzędziami do przeglądu
Dzień 9
Oczekujemy dostawy w ciągu 10 dni od podpisania umowy.


                
                                            

                    

                        
                            
                            Aktualizacja
                            #1
                            od
                            30 lipca 2025
                        
                                            
                                            
                                    
Typ użytkownika:
Operator czystego pomieszczenia:
Operator czystego pomieszczenia to wykwalifikowany technik pracujący w farmaceutycznych, biotechnologicznych lub innych regulowanych laboratoriach, które wymagają ścisłego przestrzegania protokołów czystego pomieszczenia (zgodnych z GMP). Operatorzy są odpowiedzialni za wykonywanie Standardowych Procedur Operacyjnych (SOP) w sterylnych lub półsterilnych środowiskach, minimalizując ryzyko zanieczyszczenia i stosując workflow bez użycia rąk lub minimalnie inwazyjne.

Kluczowe cechy:
Używa zestawu Pico 4 Ultra Enterprise do oglądania i śledzenia SOP podczas operacji
Wykonuje procedury za pomocą spojrzenia, poleceń głosowych lub gestów
Wymaga możliwości przeglądania poprzednich wyników i nagranych sesji w celu kontroli jakości poza aplikacją, w natywnym odtwarzaczu zestawu lub na laptopie

Kierownik operacji:
Kierownik operacji jest odpowiedzialny za nadzorowanie działań w czystym pomieszczeniu, zapewnienie zgodności z normami regulacyjnymi oraz zarządzanie dokumentacją proceduralną. Nadzoruje optymalizację procesów i jest odpowiedzialny za przesyłanie, wersjonowanie i utrzymanie zwalidowanych SOP w formacie YAML do użytku operatorów na urządzeniu Pico Ultra 4 Enterprise.

Kluczowe cechy:
Przesyła, zarządza i aktualizuje SOP oparte na YAML na systemie Pico
Zapewnia spójność treści, instrukcje bezpieczeństwa i lokalizację językową
Może nadzorować trendy wydajności operatorów dla kontroli jakości lub poprawy procesów
Zazwyczaj nie nosi zestawu, ale wchodzi w interakcję z urządzeniem jako administrator

Historie użytkowników:
Jako operator czystego pomieszczenia, chcę uruchomić aplikację na naszym Pico 4 Ultra Enterprise, aby móc śledzić Standardową Procedurę Operacyjną, którą mam dzisiaj wykonać.
Zakładając, że włączyłem aplikację, jako operator czystego pomieszczenia, chcę wybrać przypisaną mi Standardową Procedurę Operacyjną z listy wcześniej przesłanych procedur, aby móc wykonać moje zadanie
Zakładając, że wybrałem procedurę, jako operator czystego pomieszczenia, chcę przeczytać krótki opis procedury i usłyszeć instrukcje oraz warunki wstępne, aby mieć jasne zrozumienie procesu
Zakładając, że wybrałem procedurę i przeczytałem/obejrzałem podsumowanie, instrukcje bezpieczeństwa i warunki wstępne, jako operator czystego pomieszczenia, chcę rozpocząć procedurę, naciskając palcem, patrząc na nią przez 3 sekundy lub wskazując kontrolerem na start albo wydając komendę głosową „Start the procedure”
Zakładając, że rozpocząłem procedurę, centralny ekran przesuwa się z mojego pola widzenia i pokazuje listę kroków, które muszę wykonać, aby mieć jasny widok na stanowisko pracy, jednocześnie mając dostęp do przepływu procesu po prawej stronie, gdy odwracam głowę, oraz aktywny krok na dole pola widzenia.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, podczas przechodzenia przez kroki, zawsze widzę ostatnie 2 kroki, które ukończyłem, oraz następne 3 kroki do wykonania, aby mieć dobre wyobrażenie o tym, gdzie się znajduję w procesie.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, podczas przechodzenia przez kroki, chcę, aby system mierzył czas spędzony na każdym kroku, aby móc przejrzeć swoją wydajność w wykonywaniu wszystkich i poszczególnych SOP.
Zakładając, że rozpocząłem proces, jako operator czystego pomieszczenia, chcę, aby Pico 4 Ultra Enterprise nagrywało mój obraz, aby móc odtworzyć wideo z procedury w odtwarzaczu wideo Pico poza aplikacją.
Zakładając, że wybrałem Standardową Procedurę Operacyjną, jako operator czystego pomieszczenia, chcę przejrzeć swoją wydajność dla każdego wykonania wybranej SOP, aby móc zidentyfikować wąskie gardła i możliwości poprawy między kolejnymi wykonaniami.
Zakładając, że wybrałem SOP, jako operator czystego pomieszczenia, chcę edytować ustawienia systemu, aby skonfigurować zestaw zgodnie z moimi preferencjami do procedury. Ustawienia obejmują opcję wyboru:
Włącz/wyłącz interakcję głosową
Wybierz modalność interakcji (Tylko ręce, Tylko kontroler, Obie)
Wybierz interfejs i język Piper TTS spośród angielskiego, irlandzkiego (tylko interfejsu), francuskiego, łotewskiego, estońskiego i ukraińskiego
Włącz/wyłącz nagrywanie wideo z procedury
Jako kierownik operacji, chcę przesłać nasze firmowe SOP w formacie YAML na zestaw, aby system mógł pobrać wszystkie procedury i wyświetlić je użytkownikowi.
                            
    
                    
            
            
                                        
        
                Zaloguj się
                lub
                zarejestruj się,
                żeby zobaczyć oryginał