Realidade Aumentada Projetiva Arthur Cireno Rizzo (acr2) Eduardo Menezes Pires (emp) Felipe Farias (ffa2) Paulo de Barros e Silva Filho (pbsf) Romero Teixeira Gonçalves (rtg) Rafael Loureiro de Carvalho (rlc)

Roteiro Introdução (Arthur) Conceitos básicos de RA (Romero) Problemas da RA (Romero) Definição (Arthur) Histórico (Felipe) Modelo de Projeção Aumentada (Rafael) Tipos de RAP (Rafael) Precisão e Calibração (Paulo) Problemas (Paulo) Aplicações (Eduardo) Tendências Futuras (Felipe)

Introdução Mundo e Espaço Virtual “Mundo virtual é um espaço imaginário, frequentemente manifestado através de um meio. Uma descrição de uma coleção de objetos em um espaço e as regras em relações que governam estes objetos.” SHERMAN & CRAIG, (2006: 7).

Introdução Real x Virtual? “Na verdade, a rigor, virtual e real não são conceitos que se opõem. O virtual, do latim virtus (virtude, força), é o que existe potencialmente no real, o que tem em si mesmo todas as condições essenciais para sua realização”.

Introdução Definição por autores Latta (1994 apud Machado 1995:12) cita RV como uma avançada interface homem-máquina que simula um ambiente realista e permite que participantes interajam com ele. Pimentel (1995 apud Machado 1995:12) define RV como o uso da alta tecnologia para convencer o usuário de que ele está em outra realidade - um novo meio de “estar” e “tocar” em informações.

Os três i’s IMERSÃO IMAGINAÇÃO INTERAÇÃO Me sinto dentro do ambiente As minhas ações geram Reações em tempo-real Isto realmente está acontedendo IMAGINAÇÃO INTERAÇÃO

Conceitos básicos de RA A Realidade Aumentada é um subconjunto da Realidade Virtual que trata da modificação do mundo real pela sobreposição de objetos virtuais.

Conceitos básicos de RA A Realidade Aumentada pode ser classificada em 4 grupos principais segundo o tipo de display utilizado: Sistema de visão ótica direta; Sistema de visão direta por vídeo; Sistema de visão por vídeo baseado em monitor; Sistema de visão ótica por projeção.

Conceitos básicos de RA Sistema de visão ótica direta utiliza capacetes de Realidade Virtual (HMD) transparentes para apresentar o ambiente virtual diretamente sobre o mundo real. O sistema de visão ótica direta utiliza óculos ou capacetes com lentes que permitem o recebimento direto da imagem real, ao mesmo tempo em que possibilitam a projeção de imagens virtuais devidamente ajustadas com a cena real. Uma maneira comum de se conseguir essa característica é usar uma lente inclinada que permita a visão direta e que reflita a projeção de imagens geradas por computador diretamente nos olhos do usuário. A Figura 1 mostra o diagrama desse tipo de sistema, enquanto a Figura 2 apresenta alguns dispositivos utilizados nesses sistemas.

Conceitos básicos de RA Sistema de visão direta por vídeo utiliza capacetes de Realidade Virtual (HMD) opacos com câmeras de vídeo para apresentar imagens mixadas do mundo real e o ambiente virtual. O sistema de visão direta por vídeo utiliza capacetes com microcâmeras de vídeo acopladas. A cena real, capturada pela microcâmera, é misturada com os elementos virtuais gerados por computador e apresentadas diretamente nos olhos do usuário, através de pequenos monitores montados no capacete. A Figura 3 mostra o diagrama e apresenta um dispositivo de visão direta por vídeo.

Conceitos básicos de RA Sistema de visão por vídeo baseado em monitor utiliza monitores convencionais de computador (desktop) ou portáteis (Palm/PocketPC) para apresentar imagens mixadas de vídeo e ambientes virtuais. O sistema de visão por vídeo baseado em monitor utiliza uma webcam para capturar a cena real. Depois de capturada, a cena real é misturada com os objetos virtuais gerados por computador e apresentada no monitor. O ponto de vista do usuário normalmente é fixo e depende do posicionamento da webcam. A Figura 4 mostra o diagrama e os equipamentos utilizados nesse caso.

Problemas da RA HMD Permite apenas um usuário Necessidade do dispositivo (comodidade) Rivalidade Binocular No caso do HMD transparente monocular, ocorre um fenômeno conhecido com rivalidade binocular. Este acontece quando imagens diferentes são expostas por tempo prolongado ao olho humano. A região do cérebro responsável pela captura e interpretação das imagens entra num estado instável. Isto faz com o que o utilizador hora dê maior prioridade aos elementos virtuais, hora aos reais.

RA Projetiva Sistema de visão ótica por projeção utiliza os objetos reais do mundo como superfícies de projeção para o ambiente virtual. Projeta objetos virtuais em superficies reais com a ajuda de um projetor O sistema de visão ótica por projeção utiliza superfícies do ambiente real, onde são projetadas imagens dos objetos virtuais, cujo conjunto é apresentado ao usuário que o visualiza sem a necessidade de nenhum equipamento auxiliar. Embora interessante, esse sistema é muito restrito às condições do espaço real, em função da necessidade de superfícies de projeção.

RA Projetiva Benefícios Mãos livres Não necessidade de uso do dispositivo Apropriados para situações onde a perda da imagem pode ser perigosa Multiusuário Marketing Entretenimento

RA Projetiva Problemas restrito às condições do espaço real, em função da necessidade de superfícies de projeção O sistema com visão por vídeo é mais barato e mais fácil de ser ajustado.

Histórico 1990 - Primeiro registro do termo “Realidade Aumentada” Thomas Caudell, Boeing 1999 - Desenvolvimento do ARToolkit 2000 - Desenvolvimento do ARQuake Mobile AR Game 2005 - Bubble Cosmos 2008 – Wikitude AR Travel Guide Android 2009 – ARToolkit portado para Flash 2009 – The Sixth Sense 2009 – Wikitude Drive 2010 – acrossair – Browser com Realidade Aumentada

Modelo de Projeção Aumentada O que é Modelo de Projeção Aumentada (MPA)? É um modelo tridimensional físico no qual uma imagem computadorizada é projetada para criar um objeto visual realístico. O modelo físico deve ser da mesma forma geométrica que o modelo de projeção aumentada representa. (vide figura)

Modelo de Projeção Aumentada Funcionamento

Modelo de Projeção Aumentada Exemplos

Aplicações de MPA Video conferências mais amigáveis. Video: Projecao em modelos.mp4

Modelo de Projeção Aumentada Exemplos de MPA Video: Digitial Airbrushing with Spatial Augmented Reality [www.keepvid.com]

Tipos de RAP Utiliza anteparos Único projetor Múltiplos projetores

Precisão Em RAP, imprecisões espaciais são ainda mais relevantes do que nos clássicos see-through HMDs. A margem de imprecisão deve ser muito pequena para que o sistema seja aceito.

Precisão A distância entre o projetor laser AR e o objeto a ser projetado tem que ser determinada a cada projeção. Um pequeno desvio angular pode ser transformado em um significante erro posicional.

Calibração Para calibrar o projetor são fixados alguns parâmetros (resolução,FOV, distância do projetor ao anteparo). São coletadas correspondências entre coordenadas virtuais de uma imagem 2D, e a localização 3D delas no mundo real.

Calibração A calibração depende da qualidade de dados dessas entradas, mais do que de algoritmos que vão resolve-la. Table Top System Muito utilizado Placa com circuito Funcionam sem tracking desde que coloque a placa numa superficie As posições do laser são ajustadas uma vez Demo: Automatic Projector Calibration with Embedded Light Sensors [www.keepvid.com]

Problemas de RAP A utilização de RAP exige que haja uma superfície ideal para a projeção. É preciso encontrar uma área de projeção adequada para cada objeto. Isso limita o tamanho de objetos que podem ser visualizados com RAP.

Problemas de RAP Displays projetivos tem a capacidade de apresentar informações a vários usuários ao mesmo tempo. A qualidade da projeção é limitado pela superfície (propriedades reflexivas, forma) e condições ambientais. Colocar aqui o video do pessoal andando na rua com projecoes.

Problemas de RAP A projeção depende de: Iluminação da superfície. Distância do projetor para a superfície. Resolução do projetor. A maioria dos projetores possuem uma distância focal máxima limitada.

Problemas de RAP Quando projetando em superfícies que são não perpendiculares à linha de projeção, a imagem projetada deve ser pré-distorcida para compensar a distorção geométrica.

Aplicações - ARHockey ARHockey Jogo baseado em RA projetiva Faculdade SENAC, São Paulo. 2006. Air Hockey

Aplicações - ARHockey Real Câmera receptora Marcadores Câmera Superfície Projetor Câmera receptora Marcadores Fixos: determinam a superfície de projeção Móveis: luvas nas mãos dos jogadores

Aplicações - ARHockey Modificações ao jogo original Difícil serem realizadas no mundo real RA possibilita facilmente Ex: Número de discos Movimentação e tamanho dos gols Checkpoints na mesa Alteração do formato da mesa

Aplicações - ARHockey OpenCV OpenGL ODE – Open Dynamics Engine Demo Tracking, detecção de movimento OpenGL Computação gráfica 3D ODE – Open Dynamics Engine Simulação da interação dos objetos Fenômenos físicos Demo ARHockey - SBGames 2006.mp4

Aplicações – Funky Forest Ecossistema Interativo Entretenimento Consciência ambiental Estreou no Festival Cinekid 2007 Demo Funky Forest.mp4 The international film, television and new media festival for children and young people. The health of the trees contributes to the overall health of the forest and the types of creatures that inhabit it. Para codificação criativa.

Aplicações - VeinViewer Considerada a melhor invenção do ano de 2004 pela revista Time Magazine Utiliza-se do projetor para mostrar em tempo real a vasculatura do paciente Infrared light source - The light source emits a harmless, near-infrared light reflected back to the surface from the tissue surrounding the vein, while no light is reflected back from the blood inside the vessel. Digital video camera - The digital video camera captures the near-infrared light reflected back from the patient. Image processing unit - The microprocessor adds contrast and projects this image back on the skin in their actual location. Digital image projector - Using Texas Instruments Digital Light Processing™ technology, the projector displays these real-time images of the vasculature onto the surface of the skin.

Aplicações - Orbitone Música utilizando projeção Demo Trabalho de Graduação Hochschule Darmstadt, Alemanha Pentagrama Demo Orbitone.mp4

Aplicações – iOO Climb Escalada Interativa (iOO Climb) Torna uma escalada mais interativa

Aplicações – iOO Climb Demo Muro de Escalada com RAP.mp4

Aplicações – Sixth Sense Projeto do MIT “Amplia o mundo físico ao nosso redor” Gestos naturais para interagir com informação digital SixthSense venceu o 2009 INVENTION AWARD  da Popular Science

Aplicações – Sixth Sense Demo PopSci_s Future Of Sixth Sense.mp4 Sixth Sense Projection Technology Demo.mp4

Aplicações – Magic Projection Mágico Virtual Laptop Projetor PS3 Eye Toy LED tracking markers Software Efeito espetacular Demo Magic Projection 1.0.mp4

Tendências Futuras Ringo Interface Demo Propaganda e Marketing Turismo Realidade Aumentada com projeção holográfica Demo Ringo - Holographic interface, round interface, future Ui GUI.mp4 Propaganda e Marketing Turismo Medicina – Laser para ajuda em cirurgias Current and Future Work In a third application scenario, we are currently investigating options toward making a small and portable demonstrator. We have integrated a marker-less tracking system. As future work, we are planning to investigate information visualization schemes to show the user how to move the projector when the object is out of the field of projection or the object is occluded, extending concepts for user navigation [Schwerdtfeger and Klinker 2008]. Furthermore, we will explore the concept of hybrid information presentation further, investigating how much information can actually be projected onto the object at different points in an application context. Looking at two iterations of system building, we conclude that laser-based augmentations have much potential. We are in the process of installing, evaluating and further developing the system in the context of real industrial applications.

Referências Schwerdtfeger, B., Pustka, D., Hofhauser, A., and Klinker, G. 2008. Using laser projectors for augmented reality. In Proceedings of the 2008 ACM Symposium on Virtual Reality Software and Technology (Bordeaux, France, October 27 - 29, 2008). VRST '08. ACM, New York, NY, 134-137 http://realidadeaumentada.com.br/home/index.php?option=com_content&task=view&id=4&Itemid=1 http://en.wikipedia.org/wiki/Projection_augmented_model http://en.wikipedia.org/wiki/SixthSense http://en.wikipedia.org/wiki/Augmented_reality

Referências Vieira, B. et al. ARHockey: Um Jogo em Realidade Aumentada Baseada em Projetores. Centro Universitário Senac, Bacharelado em Ciência da Computação, São Paulo – SP, Brasil. http://www.artefactgroup.com/blog/2008/10/ringo-interface-augmented-reality-using-holographic-projection/ http://gizmodo.com/5418107/an-augmented-reality-projection-tracking-system-actually-makes-this-magician-seem-cool http://orbitone.de/

Dúvidas? Arthur Cireno Rizzo (acr2) Eduardo Menezes Pires (emp) Felipe Farias (ffa2) Paulo de Barros e Silva Filho (pbsf) Romero Teixeira Gonçalves (rtg) Rafael Loureiro de Carvalho (rlc)