Realidade Virtual Remis Balaniuk.

Apresentação em tema: "Realidade Virtual Remis Balaniuk."— Transcrição da apresentação:

1 Realidade Virtual Remis Balaniuk

2 Disciplina Site da disciplina: Discussão do plano de ensino:
Chai: Discussão do plano de ensino: Objetivos Metodologia Avaliação

3 O que é Realidade Virtual
O termo foi criado por Jaron Lanier, um dos pioneiros dessa área, no início dos anos 80 Simulação tempo real interativa de fenômenos físicos Simula um mundo virtual, imitando as leis da física Requer alto desempenho computacional, algoritmos especializados e interfaces de entrada e saída para interação homem-máquina

4 O que é Realidade Virtual
A RV é a junção de diversas disciplinas: Computação Gráfica Que agrega conceitos de geometria, matemática, hardware e software especializados Física Mecânica (robótica) Ergonomia Simulação Interação homem-máquina Fisiologia etc

5 O que é Realidade Virtual
Avanços tecnológicos em hardware e software abriram as portas a novas gerações de sistemas em Realidade Virtual Software gráfico padronizado: OpenGL, VRML Potentes (e baratas) CPUs Hardware especializado: placas gráficas, visão estereo (3D), interfaces hápticas

6 Aplicações Entretenimento - jogos
Navegação em modelos (arquitetura, projetos em geral) Treinamento: “Hands on” Com tutor (real ou virtual) À distância Orientação e navegação tarefas arriscadas Ensaios e prática Controle de robôs Apoio a usuários com deficiências Estende as capacidades motoras e sensoriais

7 Elementos chave Real time graphics Velocidade e sincronização
30 quadros/segundo polígonos: 50K/quadro (quanto mais melhor) resolução: quanto mais melhor Velocidade e sincronização o atraso entre a percepção do movimento do usuário (input) e a atualização da cena (output) deve ser mínimo (1ms=1mm erro) atrasos causam instabilidades

8 Elementos chave Interatividade: Interação multi-sensorial
definida pela interface (hardware e software) de interação entre o usuário e o mundo virtual quanto mais “imersiva” melhor Interação multi-sensorial visão audição retorno de força

9 Sistemas de RV Podem ser divididos em 3 grupos:
não imersivos (estação de trabalho convencional) imersivos (CAVE, HMD, etc). Híbridos (realidade aumentada)

10 Sistemas de RV Condições para “imersão” num mundo virtual:
campo de visão total (ao redor do usuário) acompanhamento (tracking) da posição e atitude do corpo do participante atraso mínimo da atualização da cena com relação ao movimento do participante

11 Blocos principais numa simulação em Realidade Virtual
Aquisição de modelos: Geometria Scanner 3D Modelos existentes Propriedades físicas: Experimental Propriedades dos materiais (bibliografia) Definição do modelo: Meshing Ajuste de parâmetros

12 Blocos principais numa simulação em RV
Simulação - Rendering gráfico Modelo da superfície dos objetos: vértices e triângulos. Transformações: câmeras virtuais, movimentos “rígidos” (translação e rotação), matriz de transformação, coordenadas homogêneas Efeitos: Luzes (cálculo das normais) Texturas: texture mapping Sombras Transparências Cores

13 Blocos principais numa simulação em Realidade Virtual
Rendering háptico: Cálculo da força: Detecção de colisão Modelo de força: penetração, fricção, estabilidade, proxy. Frequência de refresh alta: Problemas nas integração com simulação física lenta Uso de modelo local Limites de força Dispositivo: Drivers Dispositivo virtual

14 Blocos principais numa simulação em Realidade Virtual
Simulação física: Dinâmica: Cálculo do estado do sistema: posição e velocidade Mètodos de integração: explicita, implicita Problemas com os passos de tempo Pequenos passos = grande esforço de simulação Grandes passos = instabilidade Deformação: Problema muito complexo LEM Diminuir a complexidade é essencial, para fins de performance e estabilidade

15 Blocos principais numa simulação em Realidade Virtual
Detecção de colisões: É um problema geometricamente complexo Que se torna muito pior com as deformações dos objetos

16 Software Virtual Reality Modeling Language (VRML)
Padrão ISO de formato de arquivo para modelos gráficos em 3D Permite a visualização de modelos em 3D na internet (várias ferramentas) Análogo do HTML para 3D Integra 3D, 2D, texto e multimídia de forma coerente

17 Software OpenGL Biblioteca gráfica de baixo nível
Disponibiliza para o programador um pequeno número de primitivas: pontos, linhas, polígonos, imagens e bitmaps. Provê um conjunto de comandos que permite a especificação de objetos geométricos em 2D e 3D E um conjunto de comandos que controlam como os objetos são mostrados Não depende da plataforma nem linguagem de programação usadas.

18 Hardware: dispositivos
Scanners 3D Output devices visual displays audio output Input devices discrete event devices continuous event devices combination devices speech input Input/output devices tactile and haptic output

19 Scanners 3D Aquisição da geometria tridimensional de objetos.
Normalmente usa laser. Existe em vários tamanhos. É muito caro. Opção mais barata: Imodeller: software cuja entrada são fotos digitais comuns.

20 Head mounted display - HMD
O dispositivo tem duas telas de cristal líquido na frente dos olhos do usuário Usuário não enxerga o ambiente externo Provê uma imagem estéreoscópica (3D) que se move relativamente ao movimento do usuário Permite uma experiência imersiva sem restringir os movimentos do usuário As imagens podem ter boa qualidade, mas na média as imagens são de baixa resolução e o campo de visão é restrito. Devido ao isolamento do usuário cria apreensão quanto aos eventos do mundo externo (colisão com objetos e paredes). É pesado e desconfortável.

21 Arm Mounted Display (BOOM)
Similar ao HMD mas montado num braço articulado. É mais leve e tem melhor qualidade e resolução da imagem. A sincronização entre movimento do usuário e da imagem é mais rápida. Restringe os movimentos do usuário. Não tem visão periférica (binóculos)

22 Virtual Retinal Displays (VRD)
Projeta a imagem diretamente na retina Ainda não é um produto comercial. Os protótipos ainda tem baixa resolução e qualidade embora possa ser ainda melhorado.

23 Stereo Monitor Estação de trabalho convencional + shutter glasses
Mais barato Boa resolução. Usuário pode usar o teclado e mouse. Não é muito imersivo. Não tem visão periférica.

24 Surround screens (CAVE)
Boa resolução e largo campo de visão usando visão periférica. Visão estéreo pode ser obtida usando shutter glasses. MUITO caro ($1M) Pode ser usado por + de um usuário simultaneamente. Pode ser combinado com objetos reais.

25 ImmersaDesk Similar ao CAVE mas com uma única tela (ou duas)
boa resolução e boa qualidade do estereo Caro Limita os movimentos do usuário

26 Interfaces Hápticas Uma nova e revolucionária interface entre o homem e a máquina que permite a interação com ambientes virtuais através do toque. Essa nova interface promete mudar a forma como interagimos com mundos criados por computador, aumentando o grau de "imersão" do homem nesses mundos virtuais novas aplicações no ensino, treinamento, simulação, planejamento e entretendimento

27 Manipulação Homunculus representando as proporções do cortex cerebral motor dedicado a controlar as partes do corpo

28 Haptic Interfaces Terminology :
Haptic display : mechanical device configured to convey kinesthetic cues to a human operator Haptic interface : includes everything that comes between the human operator and the virtual environment Virtual environment : computer generated model of some physically motivated scene

29 Haptic Interfaces Terminology (cont.) –
Haptic simulation : synthesis of human operator, haptic interface, and virtual environment which creates a kinesthetically immersive experience

30 Haptic Interfaces Force feedback : Tactile feedback :
simulating object hardness, weight and inertia Tactile feedback : simulating surface contact geometry, smoothness, slippage and temperature Proprioceptive feedback : sensing of the user’s body position or posture

31 Haptic Interfaces Force Feedback devices :
robotic teleoperation (Argonne National Laboratories ) Rutgers Master glove (Rutgers Univ ) PHANToM arm (SenseAble Co ) Impulse Engine (Immersion Co ) CyberGrasp glove (Virtual Tech. 1998)

32 Haptic Interfaces Tactile Feedback devices :
Dextrous Hand Master Exoskeleton (fingertip tactile dysplay) (MIT ) “Sandpaper” Tactile Joystick (Minsky – 1990) Touch Master (EXOS Co. – 1993) CyberTouch glove (Virtual Tech. – 1995) FEELit Mouse (Immersion Co. – 1997)

33 Haptic Interfaces Involve realistic physical modeling
precise collision detection real-time force and tactile computation surface deformation surface texture or smoothness force shading high control-loop bandwidth : 300Hz for soft contacts to 10KHz for rigid contact

34 Input devices Teclado / mouse Trackers Fala (reconhecimento de voz)
seguem os movimentos do usuário podem ser magnéticos, acústicos, óticos (cameras) ou mecânicos Fala (reconhecimento de voz)