Aluno: Peter Furtado Dam Orientador: Alberto Barbosa Raposo Um Estudo Sobre Técnicas de Navegação e Seleção em Ambientes Virtuais Usando o Microsoft Kinect® Aluno: Peter Furtado Dam Orientador: Alberto Barbosa Raposo

Introdução A realidade virtual evolui constantemente, principalmente na parte da tecnologia, no entanto o modo como usamos essa tecnologia não acompanhou a evolução. No geral ainda nos sentimos mais confortáveis com mouse e teclado. Há muitas pesquisas procurando diminuir a distância (conceitual) do mundo virtual para o mundo real. Técnicas com maior fidelidade de interação.

Motivação e Objetivo Este trabalho surgiu como uma vontade de compreender melhor as formas de interação com ambientes virtuais usando gestos corporais. O objetivo do trabalho é propor técnicas de interagir (seleção, manipulação e navegação) com estes ambientes virtuais e estudar estas técnicas, avaliando- as com usuários.

Trabalhos Relacionados As primeiras tecnologias observadas foram Esteira omnidirecional v-Glove Nintendo Wii, Microsoft Kinect, Sony Move Microsoft Kinect foi escolhido

Trabalhos Relacionados Uma vez definida a tecnologia que seria usada para fazer a interação, foi feito um levantamento de trabalhos similares. Isto é, trabalhos que usassem “tracking” como forma de entrada de dados para a interação do usuário com o sistema. Também foi encontrada uma taxonomia criada para classificar técnicas de interação. Definiu-se que as técnicas seriam classificadas de acordo com esta taxonomia, para facilitar a categorização delas futuramente.

Trabalhos Relacionados - Kinect Vários jogos do Kinect foram testados para entender como os desenvolvedores oficiais lidam com tarefas de navegação e seleção. Pouquíssimos jogos têm navegação, até a data do estudo existia apenas um. Geralmente é usado um avatar virtual que segue os movimentos do usuário no mundo real. Em alguns jogos as mãos podem selecionar objetos posicionando a mão sobre algum objeto e esperando um contador esgotar, mas na maioria dos casos isso é usado somente para menus.

Técnicas Para a realização do trabalho foram propostas 3 técnicas de navegação e 3 de seleção. As técnicas foram mistura de adaptação de sistemas com componentes físicos com ideias próprias ou encontradas em trabalhos relacionados.

Técnicas - Seleçao Para a criação destas técnicas primeiro foi criada uma mão virtual, que, através de um raio de seleção, pode selecionar objetos. Seleção e manipulação são tarefas muito próximas e às vezes difíceis de serem separadas. As técnicas neste trabalho não preveem uma forma específica de manipulação, os objetos apenas seguem a mão virtual em 1 ou mais eixos enquanto selecionados. Técnicas propostas: Hover Push Hold

Técnicas de Seleção - Hover O Hover foi inspirado no estudo dos jogos oficiais do Kinect. A diferença entre as técnicas é a forma de desseleção. Para selecionar um objeto basta o usuário posicionar a mão virtual sobre o objeto e esperar que um contador apareça. Ainda mantendo a mão sobre o objeto, quando o tempo acabar, ele é selecionado. O Hover permite desselecionar de duas formas: mover a mão virtual de cima do objeto ou juntar as duas mãos por um tempo (aparecerá um contador indicando). Na técnica do Kinect não há uma forma de desseleção muito clara, geralmente há “alvos” e, quando o objeto chega próximo ao “alvo” o sistema automaticamente o solta.

Técnicas de Seleção - Push Esta técnica foi influenciada pelo trabalho com a v-Glove, onde o usuário precisava esticar o braço para a frente até que o dedo atravessasse um plano virtual à frente do usuário. Na técnica Push a seleção é calculada através do ângulo de abertura do braço (usando os pontos da mão, cotovelo e ombro para fazer o cálculo). O usuário estica e recolhe o braço para selecionar um objeto e repete o gesto para desselecionar.

Técnicas de Seleção - Hold Com base na técnica Push, surgiu a técnica Hold. A forma de funcionamento é bem similar, onde no Push o usuário precisava esticar o braço e recolher, no Hold o usuário mantém o braço esticado e, quando deseja soltar o objeto, torna a recolher. A existência das duas técnicas foi para avaliar se é há uma preferência por poder recolher o braço (Push) enquanto mantém seleção de um objeto por um tempo mais prolongado, ou se os usuários preferem manter o braço esticado.

Técnicas de Seleção - Demonstração

Técnicas - Navegação Navegação permite que o usuário se locomova e explore o ambiente virtual. As técnicas propostas: Virtual Foot Directional Pads Dial Directional Pads Virtual Circle

Técnicas de Navegação - Body Turn O Body Turn não é uma técnica propriamente dita, foi uma forma criada para controlar a orientação da câmera e é usada em duas das técnicas propostas (Virtual Foot e Virtual Circle). Com o Body Turn o usuário gira os ombros, girando o tronco na direção em que deseja rotacionar a câmera.

Técnicas de Navegação - Virtual Foot Directional Pad A técnica surgiu como uma adaptação de um trabalho que usa a direção na qual o usuário pisa para determinar a direção de locomoção. Este trabalho foi usa uma plataforma que surgiu, a princípio, para jogos de dança de fliperama. Na técnica Virtual Foot o controle de orientação da câmera é feito através dos “Body Turn”. As direções diagonais, no Virtual Foot, funcionam como locomoção. A velocidade de locomoção nesta técnica é constante.

Técnicas de Navegação - Dial Directional Pads Alguns jogos para dispositivos com tela de toque, por exemplo iPhone, usam controles virtuais em cada canto inferior da tela. Para se locomover, por exemplo, o usuário aperta na direção que deseja (geralmente segurando o aparelho nas mãos e usando os dedões para interagir com os controles). O Dial DPads foi uma adaptação deste sistema para sistemas de realidade virtual. O controle no canto inferior esquerdo controla a direção de movimentação do usuário, enquanto que o controle no canto inferior direito controla a orientação da câmera. O usuário posiciona a mão virtual sobre as setas na direção desejada e estica o braço para ativar. O usuário pode controlar a velocidade dos comandos através da distância da mão virtual ao centro do controle. Quanto mais longe mais rápida será feita a operação.

Técnicas de Navegação - Virtual Circle Este trabalho foi inspirado em controles (“joysticks”) analógicos. De forma abstrata, ao movimentar o controle é gerado um vetor da posição de sua ponta até o seu centro (em um plano 2D). Partindo deste princípio, o usuário, na técnica Virtual Circle, é como se fosse o pino do “joystick”. Há um círculo virtual fixo na posição de calibração. Se o usuário sair do círculo é calculado um vetor de deslocamento, onde a magnitude influencia na velocidade.

Técnicas de Navegação - Demonstração

Avaliação das Técnicas - Infraestrutura

Avaliação das Técnicas – Cenários de Uso Primeiramente identificamos os pontos a serem avaliados. Para as técnicas de navegação queríamos analisar a facilidade do usuário em se locomover por um ambiente fechado, com corredores e curvas. Para as técnicas de seleção queríamos analisar a precisão do usuário para selecionar, desselecionar e, de modo geral, interagir com objetos distintos. Por último queríamos analisar o funcionamento de ambas as tarefas (navegação e seleção) em conjunto. A ordem de execução das tarefas foi alternada para reduzir o efeito do aprendizado.

Avaliação das Técnicas – Cenário 1 Neste cenário o usuário precisava percorrer o caminho até o final do corredor e voltar ao ponto inicial. Com isso avaliamos a percepção do espaço virtual, a facilidade de locomover e a facilidade de controlar a orientação. O cenário foi feito uma vez para cada técnica por usuário.

Avaliação das Técnicas – Cenário 2 Neste cenário o usuário precisava pressionar três botões indicados por uma luz verde, em seguida posicionar três alavancas em posições indicadas por uma tarja vermelha e, finalmente, selecionar as duas alavancas na área verde ao mesmo tempo e puxá-las até o final.

Avaliação das Técnicas – Cenário 3 Este cenário misturava todas as tarefas que o usuário já havia feito. O espaço virtual era mais amplo que no primeiro cenário, já que o foco não era especificamente navegação, mas sim a mistura de navegação com seleção. Alavancas e botões existiam nesse cenário, mas uma forma nova de interação foi introduzida: carregar um objeto. Com isso um objeto poderia seguir a mão do usuário enquanto estivesse com a seleção ativa. Neste cenário o usuário precisava executar uma série de tarefas para buscar uma bola e levar até uma posição indicada. Não foi usada a técnica Dial DPads neste cenário pois o tempo de testes estava bastante elevado e esta técnica é conflitante com seleção. Ainda que possível, existem alguns problemas que precisam de solução para que seja viável de verdade com seleção.

Demonstração do Cenário 3

Resultados – Traçado dos caminhos (volta) - Cenário 1

Resultados – Grupos de usuários - Cenário 1

Resultados – Tempo médio das tarefas - Cenário 2

Resultados – Quedas indesejadas da bola - Cenário 3

Resultados – Evolução dos Usuários - Cenário 3

Resultados – Eventos Detectados Frequência Categoria Falta de precisão por tremores no rastreamento 6 A Ações indesejadas por falha do rastreamento 5 Movimento indesejado no eixo (X, Y) 7 T Dificuldade de locomover na direção desejada ou parar Girar sem querer ao tentar fazer seleção Dificuldade em alinhar orientação conforme desejado 4 Cansaço físico 2 Problema de equilíbrio ao fazer locomoção 1 Gesto errado 3 C Falha na compreensão do espaço virtual Confusão da direção do pé com rotação da câmera A = Ambiente T = Técnica C = Compreensão

Conclusão Aprendizado é claro. Preferência na navegação pelo Virtual Circle por maior fidelidade de interação. Preferência na seleção pelo Hover por maior segurança de não soltar objetos e não ter problema de precisão por movimentos indesejados no eixo (X,Y).

Trabalhos Futuros Aprimorar as técnicas e fazer mais testes, com número maior de usuários Avaliar em outros ambientes de visualização, tipo CAVE Implementar controle de velocidade para Virtual Foot Implementar filtro de suavização de ruídos Melhorar controle do Body Turn Introduzir feedback visual para as técnicas de seleção Introduzir um contador para soltar um objeto Aumentar a quantidade de ações que o usuário pode fazer Criar uma forma de reposicionar o círculo no Virtual Circle Criar novas interações mais complexas

Demonstração 4k (Tela grande)