A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

A STUDY OF HANDS-FREE VR INTERACTION TECHNIQUES USING KINECT Proposta de Dissertação de Mestrado Aluno: Peter F. Dam Orientador: Alberto B. Raposo.

Apresentações semelhantes


Apresentação em tema: "A STUDY OF HANDS-FREE VR INTERACTION TECHNIQUES USING KINECT Proposta de Dissertação de Mestrado Aluno: Peter F. Dam Orientador: Alberto B. Raposo."— Transcrição da apresentação:

1 A STUDY OF HANDS-FREE VR INTERACTION TECHNIQUES USING KINECT Proposta de Dissertação de Mestrado Aluno: Peter F. Dam Orientador: Alberto B. Raposo

2 Motivação Poucas soluções baratas para interação com ambientes imersivos e realidade virtual Interação de forma mais natural Dar mais liberdade aos usuários e permitir que futuramente tenhamos mais possibilidades de interação já que o usuário não precisa segurar um controle

3 Estudos Primeiro houve um brainstorming para pensar em possíveis tecnologias para interação de realidade virtual Algumas tecnologias foram abordadas, como luvas, NIA, Kinect Ao fim o Kinect foi a solução escolhida

4 Inicialmente desenvolvido para o XBOX 360 Sistema criado para interação com o usuário sem a necessidade de controle por intermédio da Natural Interaction (NI). Conceito onde a interação homem-dispositivo é baseada principalmente na visão e audição. Kinect - O que é

5 O Light Coding codifica informações em padrões de luz ao sair do projetor. Após ser projetado em qualquer superfície, uma deformação é gerada. Essa deformação fornece as informações necessárias para o cálculo da distância. Kinect – Como funciona

6 SensorJointSensorJoint 0Head12Right Elbow 1Neck13Right Wrist 2Torso14Right Hand 3Waist15Right Fingertip 4Left Collar16Left Hip 5Left Shoulder17Left Knee 6Left Elbow18Left Ankle 7Left Wrist19Left Foot 8Left Hand20Right Hip 9Left Fingertip21Right Knee 10Right Collar22Right Ankle 11Right Shoulder23Right Foot Kinect – Esqueleto com OpenNi

7 Para identificar a ação de seleção foram criados 3 tipos de ações: Hover Push Hold Seleção

8 O hover consiste no usuário colocar a mão (virtual) sobre um objeto e deixar por um tempo determinado. Após esgotado um contador o objeto será selecionado. Estudos preliminares mostram que este método funciona bem para ativar comandos que não requerem manipulação, como, por exemplo, apertar um botão ou selecionar uma opção de menu 3D. Seleção - Hover

9 Este método exige que o usuário, uma vez que esteja com a mão sobre o objeto que deseja selecionar, estique o braço e recolha. O objeto assim será selecionado e ficará neste estado até que o usuário repita o processo de esticar e recolher o braço. Seleção - Push

10 Hover é similar ao click, mas ao invés de recolher o braço, o usuário o mantém esticado até que deseja soltar o objeto, só então recolhendo o braço. Seleção - Hover

11 Para identificar a ação de movimentação foram criados 3 tipos de ações: Virtual Foot DPad Dial DPads Virtual Circle Navegação

12 Navegação – Virtual Foot DPad É criado uma espécie de controle direcional virtual em baixo do usuário. Este controle está sempre centralizado na pessoa e o que dispara a movimentação é a distância (e direção) entre os pés.

13 Navegação – Dial DPads Há 2 controles nos cantos das telas, um corresponde à movimentação, outro ao controle da câmera. Os controles são ativados com as mãos, e podem ser usados simultaneamente (mão esquerda em um, mão direita em outro)

14 Navegação – Virtual Circle O ponto central do usuário é gravado na hora da calibração. A partir deste ponto um círculo virtual é criado em volta do usuário. Saindo do círculo é gerada uma movimentação relativa ao centro do círculo.

15 Manipulação Para manipulação apenas translação foi tratado fazendo o objeto selecionado seguir a mão do usuário. Futuramente as operações de rotação e escala poderão ser trabalhadas

16 Variações É possível que novas técnicas e até gestos sejam estudados como variações ou incrementos para o trabalho. É possível também que algum dispositivo novo seja agregado, caso os estudos demonstrem que é interessante. Por exemplo mouse de dedo.

17 Feedback É importante estudar o impacto do feedback na interação do usuário com o sistema. Visual – desenhar na tela alguma forma de confirmação da ação ou, possivelmente, projetar no chão, por exemplo, uma resposta visual ao movimento do usuário (com relação às técnicas de navegação Virtual Circle e Foot DPad) Auditivo – disparar um som característico quando determinada ação é executada para que o usuário saiba que o sistema identificou sua ação Háptico – algum dispositivo que trema levemente, como, por exemplo, uma pulseira

18 Testes com Usuários Ao fim pretende-se validar as técnicas através de diversos testes com os usúarios. Verificar combinações de técnicas que funcionem bem Verificar ambientes e situações nos quais cada técnica funciona melhor Avaliar o cansaço físico que as técnicas causam

19 Plano de Ação Desenvolver as técnicas de interação Refinamento das técnicas através de testes informais Elaboração e realização de um roteiro formal de testes Escrita e defesa da dissertação

20 Dúvidas ?


Carregar ppt "A STUDY OF HANDS-FREE VR INTERACTION TECHNIQUES USING KINECT Proposta de Dissertação de Mestrado Aluno: Peter F. Dam Orientador: Alberto B. Raposo."

Apresentações semelhantes


Anúncios Google