Integração de realidade virtual em um simulador de voo portátil
O piloto alcança o interruptor. Com as próprias mãos.
A Access Virtual construiu e patenteou um simulador de voo portátil de movimento completo. A Fyware construiu a camada que coloca o piloto dentro: um óculos de 180 graus, hand tracking e luvas hápticas, integrados para a cabine responder às mãos.
- Setor
- Treinamento de voo
- Uso
- Integração VR em simulador de voo
- Tecnologia
- Óculos XTAL 3, hand tracking e luvas bHaptics
A Access Virtual desenvolve o Access Virtual ADVANCED VR SIM, um simulador de voo portátil com movimento completo e seis graus de liberdade, construído e patenteado por um aviador militar aposentado. A Fyware faz parte dessa equipe de desenvolvimento e construiu a camada de realidade estendida: a integração de um óculos XTAL 3 com 180 graus de campo de visão, a hand tracking para o piloto ver e usar as próprias mãos dentro da cabine, e as luvas bHaptics para que apertar um botão devolva algo aos dedos. Os periféricos conversam com o simulador através de motores que escrevemos para isso.
De onde cada número sai: os 180 graus são a especificação do fabricante do óculos; os zero comandos são o escopo entregue, e a razão pela qual o projeto existe; os seis graus de liberdade e as três malas são afirmações da Access Virtual, da campanha dela, igual ao padrão Nível D da FAA com que o simulador dela é projetado. A cabine é reconfigurada para a aeronave que for necessária. O projeto tem vários anos em rajadas de desenvolvimento e melhoria, mais de cinco pessoas da Fyware passaram por ele e segue ativo.
O que construímos é a camada de realidade estendida de um simulador de voo: a parte que decide se o piloto que está dentro da cabine acredita que está em uma cabine.
Como foi decidido
A alta fidelidade significava uma máquina do tamanho de um prédio
O desafio
Por décadas um simulador de alta fidelidade significava alimentação elétrica especial, refrigeração especial e uma máquina amarrada a uma única aeronave. Isso é um prédio, um orçamento e uma localização, e deixa a prática ilimitada fora do alcance da maioria dos pilotos que precisam dela.
O deles, e patenteado
A Access Virtual refez a máquina: movimento completo, seis graus de liberdade, uma cabine projetada conforme o padrão de um equipamento Nível D da FAA, que cabe em três malas e funciona com uma tomada comum. O conjunto é patenteado e a patente é deles.
O que construímos
A camada que o piloto vive: a integração do XTAL 3 e dos seus 180 graus, o hand tracking rodando em paralelo com o óculos, as luvas bHaptics e os motores que mantêm cada periférico de acordo sobre a mesma cabine.
O hardware e as mãos
Quatro peças do mesmo problema: o aparelho, uma vista tão larga quanto o vidro da cabine, mãos visíveis onde o piloto as espera, e dedos que recebem resposta quando apertam.
O que faz funcionar
Cinco decisões que dá para repetir
- O campo de visão foi tratado como requisito. Um piloto que não consegue ver onde o vidro termina perde as referências que importam na aproximação.
- Sem controles. Hand tracking e luvas no lugar, porque as mãos de um piloto são o instrumento e apontar para uma chave com uma varinha ensina o movimento errado.
- Cada periférico tem o seu próprio motor. Uma integração complexa é vários dispositivos entrando em acordo sobre uma cabine, e esse acordo é código que alguém tem que escrever.
- A cabine se reconfigura. A aeronave é uma configuração e não uma obra nova, então um mesmo assento serve para mais de um tipo.
- A equipe própria ficou, e a Fyware somou capacidade a ela. A Access Virtual manteve o produto e a patente, e somou capacidade de realidade estendida por anos e em rajadas, em vez de contratá-la.
O simulador, a plataforma de movimento e a patente são da Access Virtual. Nós construímos a camada de realidade estendida como parte da própria equipe de desenvolvimento deles, que é a forma como funciona Team as a Service: eles ficam com o produto e com o rumo, e nós colocamos a capacidade de realidade estendida quando o trabalho pede. A avaliação deles diz isso com as palavras deles, “a valued member of our development team”.
O que este caso NÃO afirma, e vale dizer. O padrão Nível D da FAA, as três malas e a tomada comum são afirmações da Access Virtual, tiradas da campanha deles: são afirmações de engenharia e de produto sobre o simulador deles, e a Fyware não as mediu. E aqui não há números de resultados de treinamento, nem horas de voo nem transferência para o avião real, porque neste projeto não foram medidas. O nosso escopo foi a camada de realidade estendida, e é a única coisa que esta página reivindica como própria.
Por que um campo de visão amplo muda o que um piloto pode praticar
A maioria dos óculos de realidade virtual mostra ao piloto menos do que o próprio vidro dele. Ele consegue voar por instrumentos, mas no momento em que a tarefa depende do que acontece na borda da visão, a simulação deixa de servir: a pista que deveria estar passando ao lado do ombro dele simplesmente não está. Um campo de visão de 180 graus devolve essa borda, e com ela a parte de voar que vive na visão periférica.
As mãos são o mesmo argumento, um passo mais perto. Um piloto que tem que apontar para uma chave com um controle está praticando algo que nunca vai fazer de novo. Um piloto que estica a mão e encontra a chave, e recebe uma resposta nos dedos quando aperta, está praticando o movimento que vai usar no avião. Por isso este projeto gastou o esforço dele ali e não em uma paisagem mais bonita.
E há a consequência do tamanho, que não é a nossa afirmação mas é a razão de tudo isso existir. Um simulador que cabe em três malas e funciona com uma tomada pode viver onde não cabe um prédio: um hangar pequeno, uma sala de aula ou o deck de um porta-aviões. A prática de alta fidelidade deixa de ser algo para onde o piloto viaja e passa a ser algo que viaja com ele.
Ficha do projeto
- Cliente
- Access Virtual· simulador de voo portátil de movimento completo
- Projeto
- Access Virtual ADVANCED VR SIM
- Sector
- Treinamento de voo
- Escopo da Fyware
- Camada de realidade estendida: integração do óculos, hand tracking, luvas hápticas e os motores de cada periférico
- Óculos VR
- XTAL 3, 180 graus de campo de visão segundo o fabricante
- Luvas
- bHaptics
- Hand tracking
- Integração própria da Fyware, em paralelo com o óculos
- Movimiento
- Seis graus de liberdade, no conjunto patenteado da Access Virtual
- Cabina
- Reconfigura-se para a aeronave que for necessária
- Duração
- Vários anos em rajadas de desenvolvimento e melhoria, segue ativo
- Equipamento
- Mais de cinco pessoas da Fyware
“Foram inovadores e incansáveis resolvendo problemas muito técnicos.”
Original em inglês: “They have been innovative and relentless in solving very technical issues”. A mesma avaliação chama a Fyware de “a valued member of our development team” e relata o trabalho entregue no prazo e no orçamento. A avaliação cobre a relação completa, incluindo este módulo.
Perguntas frequentes
O que se treina em um simulador de realidade virtual se transfere para o avião real?
Em procedimentos e habilidades de mão, a evidência diz que sim, e vale saber de que isso depende. A meta-análise de Howard, Gutworth e Jacobs (Computers in Human Behavior, 2021) encontra um efeito global moderado (d = 0,541) que se apaga ou dispara conforme o quanto a tarefa combina com a tecnologia: d = 0,207 quando combina pouco, d = 0,820 quando combina bem. Esse é o argumento para ensaiar a sequência de cabine em realidade virtual, e também a razão pela qual este projeto gastou o esforço nas mãos: o que se transfere é o que o piloto faz com as mãos. Este caso não publica horas de voo nem números de transferência próprios, porque não existem.
Um óculos de realidade virtual pode dar a um piloto um campo de visão realista?
Essa é justamente a restrição que decidiu o hardware deste projeto. A maioria dos óculos dá ao piloto uma vista mais estreita do que a cabine com que ele supostamente voa, então ele perde as referências periféricas que importam na aproximação e na formação. O óculos integrado aqui é um XTAL 3, cujo fabricante especifica 180 graus de campo de visão, e é isso que faz o vidro da cabine se ler como uma cabine e não como uma janela.
O piloto consegue ver e sentir as próprias mãos dentro de uma cabine virtual?
Sim, e são duas coisas diferentes. Vê-las é hand tracking: as mãos reais do piloto estão dentro da cabine, então ele estica a mão até a chave em vez de apontar com um controle. Sentí-las é háptica: este simulador usa luvas bHaptics, então apertar um botão na cabine virtual devolve algo aos dedos. A Fyware construiu as duas camadas, e o hand tracking é uma integração própria que roda em paralelo com o óculos. Não há controles nas mãos, e esse é o ponto: as mãos de um piloto são o instrumento.
Já temos o hardware do simulador. É possível integrar a camada de realidade virtual sem refazê-lo?
É exatamente este projeto. A plataforma de movimento, a cabine e a patente são da Access Virtual; o que construímos é a camada que coloca um piloto dentro: a integração do óculos, o hand tracking, as luvas e os motores que conversam com cada periférico. Uma integração complexa quase nunca é questão de um dispositivo, é questão de vários dispositivos entrando em acordo sobre a mesma cabine ao mesmo tempo, e é ali que o trabalho vai.
Preciso de um simulador do tamanho de uma sala para treinamento de alta fidelidade?
A resposta da Access Virtual é que não, e é uma afirmação deles que a Fyware não mediu: a campanha deles descreve um simulador projetado conforme o padrão de um equipamento Nível D da FAA que cabe em três malas, funciona com uma tomada comum e é reconfigurado para a aeronave que for necessária. O que isso muda é onde se pode treinar: um hangar pequeno, uma sala de aula ou o deck de um porta-aviões, e em nenhum dos três cabe uma máquina do tamanho de um prédio.
É possível usar realidade virtual para treinar manutenção em aviação?
Sim. Este caso cobre o voo, mas a mesma tecnologia treina manutenção aeronáutica: o técnico pratica o procedimento completo sobre um modelo em escala real do equipamento, com repetições ilimitadas e sem imobilizar uma aeronave. Como referência pública, a Boeing relatou 40% de melhoria de produtividade usando realidade aumentada na instalação de cablagem (CNBC).
Douglas OliveiraParceiro da Fyware · Aliança Consultoria
Quer um resultado assim na sua operação?
A Fyware entregou 750+ projetos XR para clientes como Gerdau Corsa, Cummins e Medverse. Conte o seu caso e dizemos o que é viável, em quanto tempo e com qual orçamento.
Óculos, luvas, rastreamento e os motores que fazem vários periféricos entrarem em acordo sobre a mesma cena, como extensão da sua própria equipe. E se o que você precisa é o treinamento em si, essa é a outra metade do que fazemos.
Ver Team as a Service Ver Treinamento Imersivo