Tópicos de Informática Avançada II

Apresentação em tema: "Tópicos de Informática Avançada II"— Transcrição da apresentação:

1 Tópicos de Informática Avançada II
Realidade Aumentada Prof. Mário Dantas

2 O que é Realidade Aumentada?
Uma combinação de uma cena real visualizada por um usuário e uma cena gerada por um computador que aumenta a cena com informações adicionais.

3 Outra Definição É um sistema que suplementa o mundo real com objetos virtuais gerados por computador, parecendo coexistir no mesmo espaço e apresentando as seguintes propriedades: combina objetos reais e virtuais no ambiente real; executa interativamente em tempo real; alinha objetos reais e virtuais entre si; aplica-se a todos os sentidos, incluindo audição, tato e força e cheiro (AZUMA, 2001).

4 Objetivo É criar um sistema tal que o utilizador não consiga distinguir o mundo real do virtualmente aumentado.

5 Exemplo

6 Realidade Aumentada X Realidade Virtual
A realidade aumentada e a realidade virtual (BIMBER, 2004) podem ser comparadas da seguinte forma: a realidade aumentada enriquece a cena do mundo real com objetos virtuais, enquanto a realidade virtual é totalmente gerada por computador; no ambiente de realidade aumentada, o usuário mantém o sentido de presença no mundo real, enquanto que, na realidade virtual, a sensação visual é controlada pelo sistema; a realidade aumentada precisa de um mecanismo para combinar o real e o virtual, enquanto que a realidade virtual precisa de um mecanismo para integrar o usuário ao mundo virtual.

7 Contínuo de Realidade

8 Realidade Aumentada X “Hollywood Movies”
Muitos dos efeitos especiais recorrem à composição de imagens reais e virtuais Mas: Os efeitos especiais são aplicados quadro a quadro sobre um “produto acabado”. O espectador não pode interagir com o filme. Não é Realidade Aumentada

9 Um Sistema Típico Tecnologias de Apresentação Simples monitor; HMD;
Um Dispositivo de Captação de Imagem (DCI); Um Sistema Gráfico para gerar objectos virtuais; Um Sistema que misture os mundos. Tecnologias de ratreiamento (Tracking) Sensores Magnéticos; Sensores Ópticos; Sistemas Gráficos; Sistemas Híbridos.

10 Componentes de um Sistema Típico
Mundo Real Imagem Real Virtual Realidade Aumentada Sistema de Seguimento ( Para alinhar a Câmara Virtual com a Câmara Real ) Câmara Virtual Sistema Gráfico Objecto Virtual

11 Tipos de Sistemas de Realidade Aumentada
Os sistemas de realidade aumentada podem ser classsificados conforme o tipo de display utilizado (AZUMA, 2001): Sistema de visão ótica direta; Sistema de visão direta por vídeo; Sistema de visão por vídeo baseado em monitor; Sistema de visão ótica por projeção.

12 Sistema de Visão Ótica Direta
Sistema de visão ótica direta utiliza óculos ou capacetes, com lentes que permitam o recebimento direto da imagem real, ao mesmo tempo em que permitam a projeção de imagens virtuais devidamente ajustadas com a cena real.

13 Sistema de Visão Ótica Direta

14 Sistema de Visão Ótica Direta

15 Sistema de Visão Ótica Direta

16 Sistema de Visão Ótica Direta

17 Sistema de Visão Direta por Vídeo
O sistema de visão direta por vídeo utiliza capacetes com microcâmeras de vídeo acopladas. A cena real, capturada pela microcâmera, é misturada com os elementos virtuais gerados por computador e apresentadas diretamente nos olhos do usuário, através de pequenos monitores montados no capacete.

18 Sistema de Visão Direta por Vídeo

19 Sistema de Visão por Vídeo Baseado em Monitor
O sistema de visão por vídeo baseado em monitor utiliza uma webcam para capturar a cena real; Depois de capturada, a cena real é misturada com os objetos virtuais gerados por computador e apresentada no monitor; O ponto de vista do usuário normalmente é fixo e depende do posicionamento da webcam.

20 Sistema de Visão por Vídeo Baseado em Monitor

21 Sistema de Visão por Vídeo Baseado em Monitor

22 Sistema de Visão Ótica por Projeção
O sistema de visão ótica por projeção utiliza superfícies do ambiente real, onde são projetadas imagens dos objetos virtuais, cujo conjunto é apresentado ao usuário que o visualiza sem a necessidade de nenhum equipamento auxiliar; Embora interessante, esse sistema é muito restrito às condições do espaço real, em função da necessidade de superfícies de projeção.

23 Sistema de Visão Ótica por Projeção

24 Tipos de Sistemas de Realidade Aumentada
Os sistemas de visão direta são apropriados para situações, onde a perda da imagem pode ser perigosa, como é o caso de uma pessoa andando pela rua, dirigindo um carro ou avião; Para locais fechados, onde o usuário tem controle da situação, o uso da visão por vídeo é adequada e não oferece perigo, pois em caso de perda da imagem, pode-se retirar o capacete com segurança, se for o caso; O sistema com visão por vídeo é mais barato e mais fácil de ser ajustado.

25 Ótico versus Vídeo Ótico prós contras: conclusão:
o mundo real é “realmente” observado em tempo real e directamente pelo olho humano. contras: é mais difícil controlar os desfasamentos (tempo e espaço) porque só o canal virtual é processado electronicamente. conclusão: aparentemente mais simples torna-se de utilização mais limitada; tem sido abandonado em favor do Video.

26 Ótico versus Vídeo Vídeo Prós contras: conclusões:
Podemos compensar o alinhamento e a latência porque tanto o mundo real (video) como o virtual são processados electronicamente. contras: O mundo real observado está sempre atrasado em relação ao mundo real de fato (pelo menos um quadro ou 30 ms). conclusões: Aparentemente mais complexo é mais controlável; Tem ganho preponderância sobre o Ótico.

27 Realidade Aumentada - Aplicações
Navegação em espaços desconhecidos Uma simples “visão de Raios X” Manutenção e reparação Televisão Comércio Militar Projectos de Engenharia Robótica e Telerobótica Medicina

28 Realidade Aumentada Navegação em espaços desconhecidos
A imagem virtual pode guiar um bombeiro numa estrutura habitacional desconhecida;

29 Realidade Aumentada Visão de Raios X
A imagem virtual permite ver: A temperatura dos canos; Ou os fios eléctricos; O interior de uma parede;

30 Aplicações de Realidade Aumentada Sistemas de Manutenção
Durante a manutenção duma impressora Laser o utilizador vê como remover tabuleiro de alimentação de papel através da imagem em “fio de arame” gerada por computador. Grupo de Steve Feirner - Columbia University KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance)

31 Aplicações de Realidade Aumentada Comércio
Decoração de Interiores Superimposição de peças decorativas virtuais nos interiores reais Vestuário Experimentar vestidos virtuais e executar as alterações nesses vestidos Institutos de Beleza Experimentar cortes de cabelo e executá-los sobre o modelo virtual

32 Realidade Aumentada - Militar
Projeção de informação no cockpit de um avião. Sobreposição de imagens virtuais dos alvos no capacete do piloto. Sobreposição de imagens virtuais (captadas por satélite) do “inimigo” localizado fora do raio de visão no capacete do soldado SIMNET - sistema distribuído de simulação dos jogos da guerra

33 Aplicações de Realidade Aumentada Anotação e visualização em Projectos de Engenharia
European Computer-Industry Research Centre (ECRC) O utilizador aponta para determinada localização e o sistema de RA mostra a respectiva legenda.

34 Aplicações de Realidade Aumentada Anotação e visualização em Projectos de Engenharia
Em sistemas de vigilância de instalações a imagem das camcorder é por vezes indistinta. O seu realce por wireframe ajuda o operador

35 Aplicações de Realidade Aumentada Robótica e Telerobótica
Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô. O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota.

36 Aplicações de Realidade Aumentada Robótica e Telerobótica
O operador testa a operação com a imagem virtual. E manda executar apenas a sequência de passos completa para obtenção dos resultados desejados.

37 Aplicações de Realidade Aumentada Robótica e Telerobótica

38 Aplicações de Realidade Aumentada Medicina
Projeto sobre Cirurgia Guiada por Imagem Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planeamento Cirúrgico Feminino de Brigham

39 Aplicações de Realidade Aumentada Medicina

40 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem Objetivo: Suportar cirurgia guiada por imagem Vamos ver: Construção de modelos tridimensionais A sala de operações Digitalização por laser Alinhamento espacial Visualização da Realidade Aumentada

41 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem Construção de Modelos Tridimensionais As estruturas anatómicas que aparecem na RM ou na TC são explicitamente extraídas ou segmentadas antes de serem aplicadas no alinhamento de superficie para visualização 3D

42 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem A sala de operações Braço Articulado Digitalizador Laser Video camera calibrada por laser Dispositivo de seguimento SUN UltraSPARC workstation Controlador do dispositivo de seguimento Hardware do digitalizador lazer

43 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem Digitalização por lazer O modelo 3D obtido a partir da RM é alinhado com a posição do paciente na mesa de operações recorrendo a um digitalizador laser

44 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem Alinhamento espacial O modelo 3D obtido a partir da RM é “projetado” no cérebro do paciente deitado na sala de operações

45 Aplicações de Realidade Aumentada Medicina
Projecto sobre Cirurgia Guiada por Imagem Visualização da realidade Aumentada “Removendo a pele” do modelo tridimensional obtido a partir da RM o cirurgião passa a dispor de visão de raio X sobre a estrutura interna relativamente à posição da câmera de video

46 Aplicações de Realidade Aumentada Notas Finais
Várias das aplicações apresentadas dispõem, já de sistemas comerciais em utilização. As principais dificuldades atuais prendem-se com: A precisão da sincronização espacial e temporal da imagem virtual com a real. O seguimento do utilizador e de objetos que se movam na cena real. Os objeto virtuais têm (muitas vezes) uma aparência demasiado simplista

47 Ferramentas ARToolKit: ARToolKit Plus:
Opera através de técnicas de visão computacional, processamento de imagens e programação; é um software livre implementando pelo Dr. Hirokazu Kato, na Universidade de Washington. ARToolKit Plus: A ARToolKitPlus [WAG08] é uma biblioteca baseada na ARToolKit. Foi desenvolvida pela Graz University Technology e fez parte do projeto Studierstube [SCH96].

48 Ferramentas ARTag: Dart:
É um sistema de detecção de marcadores baseado na biblioteca ARToolKit, consiste em uma biblioteca de padrões, que ao serem colocados em uma superfície plana e visualizados por uma câmera de vídeo ou webcam, podem ser precisamente rastreados. Dart: É um conjunto de ferramentas que provêem um desenvolvimento rápido em Realidade Aumentada, e foi desenvolvido pelo GVU Center no Georgia Institute of Technology.

49 Ferramentas OSGART: Facilita o desenvolvimento de aplicações de Realidade Aumentada, ela combina as funções de detecção e rastreamento de marcadores do ARToolKit com as funções para construção de modelos virtuais da biblioteca OpenSceneGraph.

50 Hiper-realidade hiper-realidade é a capacidade tecnológica de combinar realidade virtual, realidade física, inteligência artificial e inteligência humana, integrando-as de forma natural para acesso do usuário (TIFFIN, 2001);

51 Referências http://www.realidadeaumentada.com.br/