Intégration de la réalité virtuelle dans un simulateur de vol portable
Le pilote atteint l'interrupteur. De ses propres mains.
Access Virtual a construit et breveté un simulateur de vol portable à mouvement complet. Fyware a construit la couche qui met le pilote dedans : un casque à 180 degrés, le hand tracking et des gants haptiques, intégrés pour que le cockpit réponde aux mains.
- Secteur
- Formation au pilotage
- Usage
- Intégration VR dans un simulateur de vol
- Technologie
- Casque XTAL 3, hand tracking et gants bHaptics
Access Virtual développe son Access Virtual ADVANCED VR SIM, un simulateur de vol portable à mouvement complet et six degrés de liberté, construit et breveté par un aviateur militaire à la retraite. Fyware fait partie de cette équipe de développement et a construit la couche de réalité étendue : l'intégration d'un casque XTAL 3 avec 180 degrés de champ de vision, le hand tracking pour que le pilote voie et utilise ses propres mains dans le cockpit, et les gants bHaptics pour qu'appuyer sur un bouton renvoie quelque chose aux doigts. Les périphériques parlent au simulateur à travers des moteurs que nous avons écrits pour cela.
D'où sort chaque chiffre : les 180 degrés sont la spécification du fabricant du casque ; les zéro manettes sont le périmètre livré, et la raison d'être du projet ; les six degrés de liberté et les trois valises sont des affirmations d'Access Virtual, tirées de sa propre campagne, tout comme le standard Niveau D de la FAA selon lequel son simulateur est conçu. Le cockpit se reconfigure selon l'aéronef requis. Le projet compte plusieurs années de développement et d'amélioration par vagues, plus de cinq personnes de Fyware y sont passées et il reste actif.
Ce que nous avons construit, c'est la couche de réalité étendue d'un simulateur de vol : la partie qui décide si le pilote qui est dans le cockpit croit qu'il est dans un cockpit.
Comment la décision a été prise
La haute fidélité signifiait une machine de la taille d'un bâtiment
Le défi
Pendant des décennies, un simulateur haute fidélité signifiait une alimentation électrique spéciale, un refroidissement spécial et une machine amarrée à un seul aéronef. C'est un bâtiment, un budget et un emplacement, et cela laisse la pratique illimitée hors de portée de la majorité des pilotes qui en ont besoin.
Ce qui est à eux, et breveté
Access Virtual a refait la machine : mouvement complet, six degrés de liberté, un cockpit conçu selon le standard d'un équipement Niveau D de la FAA, qui tient dans trois valises et fonctionne sur une prise de courant standard. L'ensemble est breveté et le brevet leur appartient.
Ce que nous construisons
La couche que le pilote expérimente : l'intégration du XTAL 3 et de ses 180 degrés, le hand tracking tournant en parallèle avec le casque, les gants bHaptics et les moteurs qui maintiennent chaque périphérique d'accord sur le même cockpit.
Le matériel et les mains
Quatre pièces du même problème : l'appareil, une vue aussi large que la verrière du cockpit, des mains visibles là où le pilote les attend, et des doigts qui reçoivent une réponse quand ils appuient.
Ce qui fait que ça fonctionne
Cinq décisions que l'on peut répéter
- Le champ de vision a été traité comme une exigence. Un pilote qui ne voit pas où finit la verrière perd les références qui comptent en approche.
- Sans manettes. Hand tracking et gants à la place, parce que les mains d'un pilote sont l'instrument et que viser un interrupteur avec une baguette enseigne le mauvais geste.
- Chaque périphérique a son propre moteur. Une intégration complexe, c'est plusieurs appareils qui se mettent d'accord sur un cockpit, et cet accord est du code que quelqu'un doit écrire.
- Le cockpit se reconfigure. L'aéronef est une configuration et non un ouvrage neuf, donc un même siège sert pour plus d'un type.
- L'équipe interne est restée, et Fyware lui a ajouté de la capacité. Access Virtual a gardé le produit et le brevet, et a ajouté de la capacité en réalité étendue pendant des années et par vagues, au lieu de l'embaucher.
Le simulateur, la plateforme de mouvement et le brevet appartiennent à Access Virtual. Nous avons construit la couche de réalité étendue comme partie de leur propre équipe de développement, ce qui est la façon dont fonctionne Team as a Service : ils gardent le produit et le cap, et nous apportons la capacité en réalité étendue quand le travail la demande. Leur avis le dit avec leurs mots, “a valued member of our development team”.
Ce que ce cas n'affirme PAS, et il faut le dire. Le standard Niveau D de la FAA, les trois valises et la prise de courant standard sont des affirmations d'Access Virtual, tirées de sa propre campagne : ce sont des affirmations d'ingénierie et de produit sur son simulateur, et Fyware ne les a pas mesurées. Et il n'y a ici aucun chiffre de résultats de formation, ni heures de vol ni transfert vers l'avion réel, parce que dans ce projet ils n'ont pas été mesurés. Notre périmètre était la couche de réalité étendue, et c'est la seule chose que cette page revendique comme sienne.
Pourquoi un champ de vision large change ce qu'un pilote peut pratiquer
La plupart des casques de réalité virtuelle montrent au pilote moins que sa propre verrière. Il peut voler aux instruments, mais dès que la tâche dépend de ce qui se passe au bord de sa vision, la simulation cesse de servir : la piste qui devrait défiler près de son épaule n'est tout simplement pas là. Un champ de vision de 180 degrés rend ce bord, et avec lui la partie du vol qui vit dans la vision périphérique.
Les mains sont le même argument, un pas plus près. Un pilote qui doit viser un interrupteur avec une manette pratique quelque chose qu'il ne refera jamais. Un pilote qui tend la main et trouve l'interrupteur, et reçoit une réponse dans les doigts quand il l'appuie, pratique le geste qu'il utilisera dans l'avion. C'est pour cela que ce projet a dépensé son effort là et pas dans un paysage plus joli.
Et il y a la conséquence de la taille, qui n'est pas notre affirmation mais la raison d'être de tout cela. Un simulateur qui tient dans trois valises et fonctionne sur une prise de courant peut vivre là où un bâtiment ne tient pas : un petit hangar, une salle de classe ou le pont d'un porte-avions. La pratique haute fidélité cesse d'être quelque chose vers quoi le pilote voyage et devient quelque chose qui voyage avec lui.
Fiche du projet
- Client
- Access Virtual · simulateur de vol portable à mouvement complet
- Projet
- Access Virtual ADVANCED VR SIM
- Secteur
- Formation au pilotage
- Périmètre de Fyware
- Couche de réalité étendue : intégration du casque, hand tracking, gants haptiques et les moteurs de chaque périphérique
- Casque
- XTAL 3, 180 degrés de champ de vision selon son fabricant
- Gants
- bHaptics
- Hand tracking
- Intégration propre de Fyware, en parallèle avec le casque
- Mouvement
- Six degrés de liberté, dans l'ensemble breveté d'Access Virtual
- Cockpit
- Se reconfigure selon l'aéronef requis
- Durée
- Plusieurs années de développement et d'amélioration par vagues, toujours actif
- Équipe
- Plus de cinq personnes de Fyware
“Ils ont été innovants et infatigables pour résoudre des problèmes très techniques.”
Original en anglais : “They have been innovative and relentless in solving very technical issues”. Le même avis appelle Fyware “a valued member of our development team” et rapporte le travail livré dans les délais et le budget. L'avis couvre la relation complète, ce module compris.
Questions fréquentes
Ce qui s'entraîne dans un simulateur de réalité virtuelle se transfère-t-il à l'avion réel ?
Sur les procédures et les habiletés manuelles, les données disent que oui, et il faut savoir de quoi cela dépend. La méta-analyse de Howard, Gutworth et Jacobs (Computers in Human Behavior, 2021) trouve un effet global modéré (d = 0,541) qui s'éteint ou s'envole selon la qualité de l'ajustement entre la tâche et la technologie : d = 0,207 quand l'ajustement est faible, d = 0,820 quand il est bon. C'est l'argument pour répéter la séquence de cockpit en réalité virtuelle, et aussi la raison pour laquelle ce projet a dépensé son effort sur les mains : ce qui se transfère, c'est ce que le pilote fait de ses mains. Ce cas ne publie ni heures de vol ni chiffres de transfert propres, parce qu'ils n'existent pas.
Un casque de réalité virtuelle peut-il donner à un pilote un champ de vision réaliste ?
C'est justement la contrainte qui a décidé du matériel de ce projet. La plupart des casques donnent au pilote une vue plus étroite que le cockpit avec lequel il est censé voler, donc il perd les références périphériques qui comptent en approche et en vol en formation. Le casque intégré ici est un XTAL 3, dont le fabricant spécifie 180 degrés de champ de vision, et c'est ce qui fait que la verrière du cockpit se lit comme un cockpit et non comme une fenêtre.
Le pilote peut-il voir et sentir ses mains dans un cockpit virtuel ?
Oui, et ce sont deux choses distinctes. Les voir, c'est le hand tracking : les vraies mains du pilote sont dans le cockpit, donc il tend la main vers l'interrupteur au lieu de le viser avec une manette. Les sentir, c'est l'haptique : ce simulateur utilise des gants bHaptics, donc appuyer sur un bouton dans le cockpit virtuel renvoie quelque chose aux doigts. Fyware a construit les deux couches, et le hand tracking est une intégration propre qui tourne en parallèle avec le casque. Il n'y a pas de manettes dans les mains, et c'est le point : les mains d'un pilote sont l'instrument.
Nous avons déjà le matériel du simulateur. Peut-on intégrer la couche de réalité virtuelle sans le refaire ?
C'est exactement ce projet. La plateforme de mouvement, le cockpit et le brevet appartiennent à Access Virtual ; ce que nous avons construit, c'est la couche qui met un pilote dedans : l'intégration du casque, le hand tracking, les gants et les moteurs qui parlent à chaque périphérique. Une intégration complexe n'est presque jamais l'affaire d'un seul appareil, c'est l'affaire de plusieurs appareils qui se mettent d'accord sur le même cockpit au même moment, et c'est là que part le travail.
Faut-il un simulateur de la taille d'une salle pour une formation haute fidélité ?
La réponse d'Access Virtual est non, et c'est sa propre affirmation, que Fyware n'a pas mesurée : sa campagne décrit un simulateur conçu selon le standard d'un équipement Niveau D de la FAA qui tient dans trois valises, fonctionne sur une prise de courant standard et se reconfigure selon l'aéronef requis. Ce que cela change, c'est où l'on peut se former : un petit hangar, une salle de classe ou le pont d'un porte-avions, et dans aucun des trois ne tient une machine de la taille d'un bâtiment.
Peut-on utiliser la réalité virtuelle pour former à la maintenance en aviation ?
Oui. Ce cas couvre le vol, mais la même technologie forme à la maintenance aéronautique : le technicien pratique la procédure complète sur un modèle à l'échelle réelle de l'équipement, avec des répétitions illimitées et sans immobiliser un aéronef. Comme référence publique, Boeing a rapporté 40 % d'amélioration de productivité en utilisant la réalité augmentée pour l'installation de câblage (CNBC).
Christian RuizPartenaire de Fyware · Immersive Techs
Vous voulez un résultat comme celui-ci dans vos opérations ?
Fyware a livré 750+ projets XR pour des clients comme Gerdau Corsa, Cummins et Medverse. Décrivez-nous votre cas et nous vous dirons ce qui est faisable, en combien de temps et avec quel budget.
Casques, gants, suivi et les moteurs qui font que plusieurs périphériques se mettent d'accord sur la même scène, comme extension de votre propre équipe. Et si ce dont vous avez besoin est la formation elle-même, c'est l'autre moitié de ce que nous faisons.
Voir Team as a Service Voir la formation immersive