Márcio Ferreira Barros Realidade Virtual Márcio Ferreira Barros bfmarcio@dsc.ufpb.br

Roteiro Interfaces Não-Convencionais; Definição de RV; Contextualização Historica da RV; Ambientes Virtuais Distribuídos; Periféricos para RV; Aplicações; RV em Medicina; Referências;

Tipos de Sistemas com Interfaces Não Convencionais Telepresença Telepresença é uma situação, onde uma pessoa está objetivamente presente num ambiente real que está separado fisicamente da pessoa no espaço;

Tipos de Sistemas com Interfaces Não Convencionais Realidade Virtual O usuário participa de um mundo virtual gerado no computador, usando dispositivos sensoriais de percepção e controle; Um ambiente virtual pode ser projetado para simular tanto um ambiente imaginário quanto um ambiente real;

Tipos de Sistemas com Interfaces Não Convencionais Realidade Aumentada É a combinação da visão do ambiente real com o ambiente virtual; Esse tipo de sistema é obtido mesclando-se sistemas de telepresença e realidade virtual;

Tipos de Sistemas com Interfaces Não Convencionais Realidade Melhorada Variação do sistema de realidade aumentada, onde um sistema de processamento de imagem gera informações adicionais para serem sobrepostas à imagem real; O resultado final pode ser tanto uma melhoria espectral quanto espacial, gerando transformações e anotações sobre a imagem; A geração de imagens obtidas através de ampliação do espectro visível do olho humano e a anotação de características específicas dos objetos como distância, tipo, etc., são exemplos de melhoria de uma imagem.

Configuração Genérica dos Sistemas com Interfaces Não Convencionais

Realidade Virtual

Definição Características Sistema computacional usado para criar um mundo artificial no qual o usuário tenha a impressão de ESTAR, a possibilidade de NAVEGAR e de MANIPULAR objetos. Características Meio de comunicação Interação intuitiva no espaço 3-D em tempo-real IMERSÃO, INTERAÇÃO e PRESENÇA Interface por canais multi-sensoriais

Exemplo Sala virtual com 3 bolas em movimento Interação com mouse ou teclado (Interação) Interação com data glove (VR) Dataglove com « vibrador » (Presença) Uso de óculos estéreo (Imersão) Visualização em tela grande

Simulação Sensorial Visão: óculos estéreo, HMD, CAVEs, real- time video input Audição: head phones e som renderizado Fala: real-time audio input Tato: DataGloves, DataSuites e dispositivos c/retorno de força (exo-esqueletos) Olfato: ?? (cheiro artificial)

A História de uma Idéia 1838 – Visão estereoscópica – Stereopticon Cinema – modificação de nossa visão da realidade, aumenta e altera a percepção Tecnologia de simulação de vôo – Link Trainer (1929) – interatividade e movimento (mecânico) Cinerama (1952) – 3 projetores

A História de uma Idéia Anos 60: Sensorama – visor de realidade virtual mecânico; CAD; visor tridimensional; simuladores de vôo. Anos 70: computadores pessoais, videogames, luva para interação com computador, comunicação global. Anos 80: educação interativa assistida por computador; computação gráfica no cinema e em documentos; computadores mais poderosos; primeira conferência profissional sobre RV; incremento da exploração comercial da RV. Aplicações: entretenimento, educação, pesquisa científica, teletrabalho, medicina, férias virtuais (!)

Estrutura de um Sistema de Realidade Virtual

Tipos de Sistemas de RV Multi-Usuários Requisitos de Ambientes Virtuais Distribuídos Resposta rápida a novos requisitos do sistema; Capacidade de manutenção; Suportar interação em tempo real; Fidelidade da inserção do usuário no mundo virtual em relação a uma referência; Alta taxa de quadros por segundo, reusabilidade e portabilidade; Ajustamento a novas interfaces e dispositivos de visualização; Requisitos para capacidades adicionais;

HMD – Head Mounted Display Um visor de LCD para cada olho com visão estereoscópica Sensor de posição absoluta da cabeça Fones estereofônicos

StereoGraphics CrystalEyes shutter glasses Stereo Glasses/Shutter Glasses Óculos de cristal líquido Display alterna imagens para o olho esquerdo e direito a uma taxa de 30 imagens/segundo Usa monitor convencional Sincronizado por raios infra-vermelhos StereoGraphics CrystalEyes shutter glasses

BOOMs Binocular Omni-Orientation Monitor Colocados em uma caixa, presa a um braço mecânico; Usam tubos de raios catôdicos; Alta resolução; Rápido; Tracker embutido; Confortável; Caros;

Trackers (mecânicos) Braço mecânico Muito rápidos Precisos Movimentos restritos

Trackers (eletromagnéticos) Cálculo da posição e/ou orientação por campo magnético Rápido Problemas de interferência Movimento limitado Caro

Trackers (óticos) Tipicamente leds piscando, monitorados por uma câmera em uma posição fixa Rápido Problemas de interferência pelas condições de luz ambientes

Trackers (Acústicos) Usa ultrassom para medir posição e orientação Lentos Imprecisos Receptores posicionados em “L”

Data Gloves DataGlove Sensores de flexão para os cinco dedos Sensor de posição absoluta do punho DataGlove

Dispositivos interativos Trackball 3D Joystick 3D

Haptic and Force Feedback Permitem a sensação de tato Tactile feedback: por “vibradores” ou bolhas de ar Force feedback: permite a simulação de restrições físicas Exoesqueletos

Ambiente Imersivo 3D Multiusuário Caverna Digital Cave Ambiente Imersivo 3D Multiusuário

Periféricos para Realidade Virtual Digitalizador 3D Sensores Especializados

Periféricos para Realidade Aumentada ImmersaDesk Display 3D sincronizado com óculos Polaroid e joystick 3D

Feedback Visual/Auditivo Sensores Atuador Computador Usuário Atuação Posição Imagem 3D Coordenação visuomotora

Feedback de Forças Atuador Computador Usuário Sensores Feedback Atuação Posição Imagem 3D Feedback Coordenação visuomotora

Aplicações Entretenimento Artes - Pinturas em relevo, esculturas, museus virtuais, música com instrumentos virtuais; Jogos; Turismo Virtual; Passeio Ciclístico Virtual; Esportes Virtuais - aperfeiçoar a tacada de golfe com lições em tempo real; Cinema Virtual - (platéia define o final); Montanha Russa Virtual;

Aplicações Engenharia, design e arquitetura Aplicações cientifícas Visualização de protótipos; Simulação de montagens; Simulação da dinâmica de estruturas articuladas; Simulação do processo produtivo; Planejamento da obra; Inspeção tridimensional em tempo real; Decoração de ambientes; Avaliação acústica; Aplicações cientifícas Visualização de superfície planetárias; Síntese molecular; Análise de comportamento de estruturas atômicas e moleculares; Análise de fenômenos físico-químicos;

Aplicações Educação e treinamento Comércio Eletrônico Laboratórios Virtuais; Vídeo-conferência ; Consulta a bibliotecas virtuais; Comércio Eletrônico Shop3D (publicidade e comércio eletrônico); ShopRural (feira rural virtual); Shopping Nacional (shopping 3D de 2 andares); VR Shopping (entretenimento e comércio eletrônico); Templo da música (loja de CD´s); Loja virtual (loja de móveis);

Aplicações Forças armadas Início dos esforços simulados para treinamento antes da 2 Guerra Mundial; SIMNET – Espaço Cibernético das Forças Armadas Americanas (simuladores de guerra, campos de batalha, tanques) "Tão importante como entretenimento quanto para o treinamento das forças armadas" "Os generais do próximo século serão capazes de controlar a guerra em andamento, através de um simples movimento da mão ou do olho, e se colocar, usando a telepresença, no meio do campo de batalha." "No futuro, podemos esperar que as forças armadas persigam economia e maior eficiência em batalhas, através da utilização da tecnologia da realidade virtual."

Realidade Virtual em Medicina

Áreas de Aplicação Planejamento Imagenologia Endoscopia virtual Cirurgia virtual Biomecânica Telecirurgia Mundos artificiais Biosimulação

Simulação de Endoscopia Endocirurgia Laparoscopia Manipuladores Tridimensionais com Sensores Digitais

Simulação de Endoscopia Manipuladores Visualizadores

Simulação de Cirurgia Videolaparoscópica Imagens geradas em 3D Estação de Simulação

Treinamento por Realidade Virtual Venopunção

Treinamento por Realidade Virtual Ureteroscopia

Simulação de Microcirurgias Stand com micromanipuladores Visão do campo cirúrgico simulado

Simulação de Microcirurgias

Realidade Aumentada Virtual Temporal Bone ImmersaDesk com Óculos Polaroid e Joystick 3D

Superposição de Imagens Cirurgião com HMD Visão do cirurgião Tomografia 3D do cérebro

Software de Desenvolvimento de RV

Referências Realidade Virtual e a Exploração do Espaço Cibernético – Apresentação do Livro http://br.geocities.com/infoeducabr/rv/