Virtual-Reality-Integration in einen mobilen Flugsimulator
Der Pilot greift nach dem Schalter. Mit seinen eigenen Händen.
Access Virtual hat einen mobilen Flugsimulator mit voller Bewegungssimulation gebaut und patentiert. Fyware hat die Schicht gebaut, die den Piloten hineinsetzt: eine VR-Brille mit 180 Grad Sichtfeld, Hand-Tracking und haptische Handschuhe, so integriert, dass das Cockpit auf die Hände reagiert.
- Branche
- Flugtraining
- Einsatz
- VR-Integration in einen Flugsimulator
- Technologie
- VR-Brille XTAL 3, Hand-Tracking und bHaptics-Handschuhe
Access Virtual entwickelt den Access Virtual ADVANCED VR SIM, einen mobilen Flugsimulator mit voller Bewegungssimulation und sechs Freiheitsgraden, gebaut und patentiert von einem ehemaligen Militärpiloten. Fyware ist Teil dieses Entwicklungsteams und hat die Extended-Reality-Schicht gebaut: integriert wurden eine VR-Brille XTAL 3 mit 180 Grad Sichtfeld, das Hand-Tracking für die eigenen Hände des Piloten im Cockpit, und die bHaptics-Handschuhe als Rückmeldung an die Finger, wenn der Pilot einen Knopf drückt. Die Peripheriegeräte kommunizieren mit dem Simulator über Treiber, die wir dafür geschrieben haben.
Woher jede Zahl kommt: die 180 Grad sind die Herstellerangabe der VR-Brille; die null Controller sind der gelieferte Leistungsumfang und der Grund, warum das Projekt überhaupt existiert; die sechs Freiheitsgrade und die drei Koffer sind Angaben von Access Virtual aus ihrer eigenen Kampagne, genauso wie der Level-D-Standard der FAA, nach dem ihr Simulator ausgelegt ist. Das Cockpit wird auf das jeweils benötigte Luftfahrzeug umkonfiguriert. Das Projekt läuft seit mehreren Jahren in Entwicklungs- und Verbesserungsschüben, mehr als fünf Personen von Fyware waren beteiligt, und es ist weiter aktiv.
Was wir gebaut haben, ist die Extended-Reality-Schicht eines Flugsimulators: der Teil, der entscheidet, ob der Pilot, der im Cockpit sitzt, glaubt, dass er in einem Cockpit sitzt.
Wie entschieden wurde
Hohe Simulationstreue bedeutete eine Maschine in Gebäudegröße
Die Herausforderung
Jahrzehntelang bedeutete ein Simulator mit hoher Simulationstreue eine eigene Stromversorgung, eine eigene Kühlung und eine Maschine, die an ein einziges Luftfahrzeug gebunden war. Das ist ein Gebäude, ein Budget und ein Standort, und damit bleibt unbegrenztes Üben für die meisten Piloten, die es brauchen, außer Reichweite.
Was ihnen gehört, und patentiert
Access Virtual hat die Maschine neu gebaut: volle Bewegungssimulation, sechs Freiheitsgrade, ein Cockpit, das nach dem Level-D-Standard der FAA ausgelegt ist, in drei Koffer passt und an einer normalen Steckdose läuft. Die Baugruppe ist patentiert, und das Patent gehört ihnen.
Was wir bauen
Die Schicht, die der Pilot erlebt: die Integration der XTAL 3 und ihrer 180 Grad, das Hand-Tracking, das parallel zur VR-Brille läuft, die bHaptics-Handschuhe und die Treiber, die jedes Peripheriegerät über dasselbe Cockpit im Einklang halten.
Die Hardware und die Hände
Vier Teile desselben Problems: das Gerät, eine Sicht so weit wie die Cockpitverglasung, sichtbare Hände dort, wo der Pilot sie erwartet, und Finger, die eine Rückmeldung bekommen, wenn sie drücken.
Was es funktionieren lässt
Fünf Entscheidungen, die sich wiederholen lassen
- Das Sichtfeld wurde als Anforderung behandelt. Ein Pilot, der nicht sieht, wo die Verglasung endet, verliert die Referenzen, die im Anflug zählen.
- Keine Controller. Stattdessen Hand-Tracking und Handschuhe, denn die Hände eines Piloten sind das Instrument, und mit einem Stab auf einen Schalter zu zeigen trainiert die falsche Bewegung.
- Jedes Peripheriegerät hat seinen eigenen Treiber. Eine komplexe Integration besteht darin, dass sich mehrere Geräte über ein Cockpit einig werden, und diese Einigkeit ist Code, den jemand schreiben muss.
- Das Cockpit wird umkonfiguriert. Das Luftfahrzeug ist eine Konfiguration und kein Neubau, deshalb dient ein und derselbe Sitz mehr als einem Typ.
- Das eigene Team blieb, und Fyware brachte zusätzliche Kapazität ein. Access Virtual behielt Produkt und Patent und holte über Jahre und in Schüben Extended-Reality-Kapazität hinzu, statt sie fest einzustellen.
Der Simulator, die Bewegungsplattform und das Patent gehören Access Virtual. Wir haben die Extended-Reality-Schicht gebaut, als Teil ihres eigenen Entwicklungsteams, und genau so funktioniert Team as a Service: sie behalten das Produkt und die Richtung, und wir stellen die Extended-Reality-Kapazität, wenn die Arbeit sie verlangt. Ihre Bewertung sagt es mit ihren eigenen Worten, „a valued member of our development team“.
Was diese Referenz NICHT behauptet, und das sollte man sagen. Der Level-D-Standard der FAA, die drei Koffer und die normale Steckdose sind Angaben von Access Virtual, übernommen aus ihrer eigenen Kampagne: es sind Engineering- und Produktaussagen über ihren Simulator, und Fyware hat sie nicht gemessen. Und hier stehen keine Zahlen zu Trainingsergebnissen, keine Flugstunden und kein Transfer auf das echte Flugzeug, weil sie in diesem Projekt nicht gemessen wurden. Unser Leistungsumfang war die Extended-Reality-Schicht, und das ist das Einzige, was diese Seite als eigene Leistung beansprucht.
Warum ein weites Sichtfeld verändert, was ein Pilot üben kann
Die meisten VR-Brillen zeigen dem Piloten weniger als seine eigene Cockpitverglasung. Er kann nach Instrumenten fliegen, aber sobald die Aufgabe davon abhängt, was am Rand seines Blickfelds passiert, taugt die Simulation nicht mehr: die Bahn, die an seiner Schulter vorbeiziehen müsste, ist einfach nicht da. Ein Sichtfeld von 180 Grad gibt diesen Rand zurück, und mit ihm den Teil des Fliegens, der im peripheren Sehen liegt.
Die Hände sind dasselbe Argument, einen Schritt näher. Ein Pilot, der mit einem Controller auf einen Schalter zeigen muss, übt etwas, das er nie wieder tun wird. Ein Pilot, der die Hand ausstreckt und den Schalter findet, und beim Drücken eine Rückmeldung in den Fingern bekommt, übt die Bewegung, die er im Flugzeug benutzen wird. Deshalb hat dieses Projekt seinen Aufwand dort gesteckt und nicht in eine schönere Landschaft.
Und dann ist da die Folge der Größe, die nicht unsere Aussage ist, aber der Grund, warum all das existiert. Ein Simulator, der in drei Koffer passt und an einer Steckdose läuft, kann dort stehen, wo kein Gebäude Platz hat: ein kleiner Hangar, ein Schulungsraum oder das Deck eines Flugzeugträgers. Üben mit hoher Simulationstreue hört auf, etwas zu sein, wohin der Pilot reist, und wird zu etwas, das mit ihm reist.
Projektsteckbrief
- Kunde
- Access Virtual · mobiler Flugsimulator mit voller Bewegungssimulation
- Projekt
- Access Virtual ADVANCED VR SIM
- Branche
- Flugtraining
- Leistungsumfang von Fyware
- Extended-Reality-Schicht: Integration der VR-Brille, Hand-Tracking, haptische Handschuhe und die Treiber für jedes Peripheriegerät
- VR-Brille
- XTAL 3, 180 Grad Sichtfeld laut Hersteller
- Handschuhe
- bHaptics
- Hand-Tracking
- Eigene Integration von Fyware, parallel zur VR-Brille
- Bewegung
- Sechs Freiheitsgrade, in der patentierten Baugruppe von Access Virtual
- Cockpit
- Wird auf das jeweils benötigte Luftfahrzeug umkonfiguriert
- Dauer
- Mehrere Jahre in Entwicklungs- und Verbesserungsschüben, weiter aktiv
- Team
- Mehr als fünf Personen von Fyware
„Sie waren innovativ und unermüdlich beim Lösen sehr technischer Probleme.“
Original auf Englisch: „They have been innovative and relentless in solving very technical issues“. Dieselbe Bewertung nennt Fyware „a valued member of our development team“ und berichtet, dass die Arbeit termin- und budgetgerecht geliefert wurde. Die Bewertung deckt die gesamte Zusammenarbeit ab, dieses Modul eingeschlossen.
Häufige Fragen
Lässt sich das, was in einem VR-Simulator trainiert wird, auf das echte Flugzeug übertragen?
Bei Abläufen und manuellen Fertigkeiten sagt die Evidenz ja, und es lohnt sich zu wissen, wovon es abhängt. Die Metaanalyse von Howard, Gutworth und Jacobs (Computers in Human Behavior, 2021) findet einen moderaten Gesamteffekt (d = 0,541), der einbricht oder anzieht, je nachdem, wie gut die Aufgabe zur Technologie passt: d = 0,207 bei schlechter Passung, d = 0,820 bei guter Passung. Das ist das Argument dafür, die Cockpit-Sequenz in Virtual Reality zu üben, und auch der Grund, warum dieses Projekt seinen Aufwand in die Hände gesteckt hat: übertragen wird, was der Pilot mit den Händen tut. Diese Referenz veröffentlicht keine eigenen Flugstunden und keine eigenen Transferzahlen, weil es sie nicht gibt.
Kann eine VR-Brille einem Piloten ein realistisches Sichtfeld geben?
Genau diese Einschränkung hat über die Hardware dieses Projekts entschieden. Die meisten VR-Brillen geben dem Piloten eine engere Sicht als das Cockpit, mit dem er fliegen soll, also verliert er die peripheren Referenzen, die im Anflug und im Formationsflug zählen. Die hier integrierte VR-Brille ist eine XTAL 3, deren Hersteller 180 Grad Sichtfeld angibt, und genau das lässt die Cockpitverglasung wie ein Cockpit wirken und nicht wie ein Fenster.
Kann der Pilot seine Hände in einem virtuellen Cockpit sehen und fühlen?
Ja, und das sind zwei verschiedene Dinge. Sie zu sehen ist Hand-Tracking: die echten Hände des Piloten sind im Cockpit, er greift also nach dem Schalter, statt mit einem Controller darauf zu zeigen. Sie zu fühlen ist Haptik: dieser Simulator nutzt bHaptics-Handschuhe, ein Knopfdruck im virtuellen Cockpit gibt also etwas an die Finger zurück. Fyware hat beide Schichten gebaut, und das Hand-Tracking ist eine eigene Integration, die parallel zur VR-Brille läuft. In den Händen liegt kein Controller, und genau das ist der Punkt: die Hände eines Piloten sind das Instrument.
Wir haben die Simulator-Hardware schon. Lässt sich die Virtual-Reality-Schicht integrieren, ohne sie neu zu bauen?
Genau das ist dieses Projekt. Die Bewegungsplattform, das Cockpit und das Patent gehören Access Virtual; was wir gebaut haben, ist die Schicht, die einen Piloten hineinsetzt: die Integration der VR-Brille, das Hand-Tracking, die Handschuhe und die Treiber, die mit jedem Peripheriegerät sprechen. Eine komplexe Integration ist fast nie eine Frage eines Geräts, sondern eine Frage mehrerer Geräte, die sich gleichzeitig über dasselbe Cockpit einig werden, und genau dort steckt die Arbeit.
Brauche ich für Training mit hoher Simulationstreue einen raumgroßen Simulator?
Die Antwort von Access Virtual lautet nein, und das ist ihre eigene Aussage, die Fyware nicht gemessen hat: ihre Kampagne beschreibt einen Simulator, der nach dem Level-D-Standard der FAA ausgelegt ist, in drei Koffer passt, an einer normalen Steckdose läuft und sich auf das jeweils benötigte Luftfahrzeug umkonfigurieren lässt. Was sich damit ändert, ist der Ort, an dem trainiert werden kann: ein kleiner Hangar, ein Schulungsraum oder das Deck eines Flugzeugträgers, und in keinen der drei passt eine Maschine von der Größe eines Gebäudes.
Lässt sich Virtual Reality für Schulungen in der Luftfahrtinstandhaltung einsetzen?
Ja. Diese Referenz behandelt den Flug, aber dieselbe Technologie schult die Luftfahrtinstandhaltung: der Techniker übt den vollständigen Ablauf an einem maßstabsgetreuen Modell des Geräts, mit unbegrenzten Wiederholungen und ohne ein Luftfahrzeug stillzulegen. Als öffentliche Referenz berichtete Boeing von 40 % Produktivitätsverbesserung durch Augmented Reality bei der Kabelinstallation (CNBC).
FywareAnsprechpartner Deutschland
Möchten Sie ein solches Ergebnis in Ihrem Betrieb?
Fyware hat 750+ XR-Projekte für Kunden wie Gerdau Corsa, Cummins und Medverse geliefert. Beschreiben Sie uns Ihren Fall und wir sagen Ihnen, was machbar ist, wie lange es dauert und was es kostet.
VR-Brillen, Handschuhe, Tracking und die Treiber, die mehrere Peripheriegeräte über dieselbe Szene einig werden lassen, als Erweiterung Ihres eigenen Teams. Und wenn Sie die Schulung selbst brauchen, das ist die andere Hälfte von dem, was wir machen.
Team as a Service ansehen Immersive Schulung ansehen