A Study of Hands-Free VR Interaction Techniques Using Kinect Proposta de Dissertação de Mestrado Aluno: Peter F. Dam Orientador: Alberto B. Raposo

Motivação Poucas soluções baratas para interação com ambientes imersivos e realidade virtual Interação de forma mais natural Dar mais liberdade aos usuários e permitir que futuramente tenhamos mais possibilidades de interação já que o usuário não precisa segurar um controle

Estudos Primeiro houve um brainstorming para pensar em possíveis tecnologias para interação de realidade virtual Algumas tecnologias foram abordadas, como luvas, NIA, Kinect Ao fim o Kinect foi a solução escolhida

Kinect - O que é Inicialmente desenvolvido para o XBOX 360 Sistema criado para interação com o usuário sem a necessidade de controle por intermédio da Natural Interaction (NI). Conceito onde a interação homem-dispositivo é baseada principalmente na visão e audição.

Kinect – Como funciona O Light Coding codifica informações em padrões de luz ao sair do projetor. Após ser projetado em qualquer superfície, uma deformação é gerada. Essa deformação fornece as informações necessárias para o cálculo da distância.

Kinect – Esqueleto com OpenNi Sensor Joint Head 12 Right Elbow 1 Neck 13 Right Wrist 2 Torso 14 Right Hand 3 Waist 15 Right Fingertip 4 Left Collar 16 Left Hip 5 Left Shoulder 17 Left Knee 6 Left Elbow 18 Left Ankle 7 Left Wrist 19 Left Foot 8 Left Hand 20 Right Hip 9 Left Fingertip 21 Right Knee 10 Right Collar 22 Right Ankle 11 Right Shoulder 23 Right Foot

Seleção Para identificar a ação de seleção foram criados 3 tipos de ações: Hover Push Hold

Seleção - Hover O hover consiste no usuário colocar a mão (virtual) sobre um objeto e deixar por um tempo determinado. Após esgotado um contador o objeto será selecionado. Estudos preliminares mostram que este método funciona bem para ativar comandos que não requerem manipulação, como, por exemplo, apertar um botão ou selecionar uma opção de menu 3D.

Seleção - Push Este método exige que o usuário, uma vez que esteja com a mão sobre o objeto que deseja selecionar, estique o braço e recolha. O objeto assim será selecionado e ficará neste estado até que o usuário repita o processo de esticar e recolher o braço.

Seleção - Hover Hover é similar ao click, mas ao invés de recolher o braço, o usuário o mantém esticado até que deseja soltar o objeto, só então recolhendo o braço.

Navegação Para identificar a ação de movimentação foram criados 3 tipos de ações: Virtual Foot DPad Dial DPads Virtual Circle

Navegação – Virtual Foot DPad É criado uma espécie de controle direcional virtual em baixo do usuário. Este controle está sempre centralizado na pessoa e o que dispara a movimentação é a distância (e direção) entre os pés.

Navegação – Dial DPads Há 2 controles nos cantos das telas, um corresponde à movimentação, outro ao controle da câmera. Os controles são ativados com as mãos, e podem ser usados simultaneamente (mão esquerda em um, mão direita em outro)

Navegação – Virtual Circle O ponto central do usuário é gravado na hora da calibração. A partir deste ponto um círculo virtual é criado em volta do usuário. Saindo do círculo é gerada uma movimentação relativa ao centro do círculo.

Manipulação Para manipulação apenas translação foi tratado fazendo o objeto selecionado seguir a mão do usuário. Futuramente as operações de rotação e escala poderão ser trabalhadas

Variações É possível que novas técnicas e até gestos sejam estudados como variações ou incrementos para o trabalho. É possível também que algum dispositivo novo seja agregado, caso os estudos demonstrem que é interessante. Por exemplo mouse de dedo.

Feedback É importante estudar o impacto do feedback na interação do usuário com o sistema. Visual – desenhar na tela alguma forma de confirmação da ação ou, possivelmente, projetar no chão, por exemplo, uma resposta visual ao movimento do usuário (com relação às técnicas de navegação “Virtual Circle” e “Foot DPad”) Auditivo – disparar um som característico quando determinada ação é executada para que o usuário saiba que o sistema identificou sua ação Háptico – algum dispositivo que trema levemente, como, por exemplo, uma pulseira

Testes com Usuários Ao fim pretende-se validar as técnicas através de diversos testes com os usúarios. Verificar combinações de técnicas que funcionem bem Verificar ambientes e situações nos quais cada técnica funciona melhor Avaliar o cansaço físico que as técnicas causam

Plano de Ação Desenvolver as técnicas de interação Refinamento das técnicas através de testes informais Elaboração e realização de um roteiro formal de testes Escrita e defesa da dissertação

Dúvidas ?