Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison.

Apresentação em tema: "Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison."— Transcrição da apresentação:

1 Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison

2 Roteiro Realidade Aumentada Motivações Aplicações ARToolkit o Funcionamento o Arquitetura Conclusão

3 Cenário

4 Sistemas que misturam cenários do ambiente Sobreposição de cenários VIRTUAIS em cenários REAIS O que é Realidade Aumentada?

5 Vídeo - EnkinEnkin

6 Definição Definição de Ronald Azuma: o Combinação de elementos virtuais com o ambiente real o Interação e processamento em tempo real o Concebida em três dimensões

7 O que é Realidade aumentada: Combinação de elementos Combinar nem sempre é igual a adicionar Combinar não inclui apenas informações visuais (Enkin)

8 O que é Realidade aumentada: Interação em tempo real “Using AR technology, users can interact with a combination of real and virtual objects in a natural way.” “In Confluence of Computer Vision and Interactive Graphics for Augmented Reality“

9 O que é Realidade aumentada: Informação em 3D Iluminação dependente da posição do sol (controlado pelo usuário).

10 Motivação: Um exemplo

11 O problema o O cirurgião não pode olhar para a tela e para o paciente ao mesmo tempo o Olhar para a tela enquanto opera o paciente não é ergonômico o A tela é 2D, enquanto que o corpo do paciente é 3D

12 Motivação: Um exemplo A Visão o A informação deve ser mostrada onde ela é necessária o O usuário deve poder acessar e interagir com a informação de maneira ergonômica o A informação deve ser apresentada em três dimensões, como o objeto da aplicação

13 Aplicações Médica The heARt-Project: Cirugia cardíaca minimamente invasiva. MIT: Integração de dados de ressonância magnética e de eletroencefalograma para suporte à cirugia cerebral.

14 Aplicações Manutenção, reparos e produção BMW: The “Intelligent Welding Gun” Boeing: “Augmented wiring”

15 Aplicações Visualização de dados científicos Educação Studierstube: Construct3D Application

16 Outras áreas de Atuação Militar Entretenimento Petroquímica

17 Dificuldades de Implementação Cálculos para construção da imagem virtual para o ponto de vista do usuário Saber a escala e o alinhamento Realizada em tempo real Posicionamento o mais preciso possível

18 Solução ARToolkit

19 O que é ARToolkit? Sistema baseado em tracking (rastreamento) Calcula a posição real da câmera e a orientação relativa de um marcador

20 ARTookit como solução  Não exige aquisição de material muito robusto e caro  Gratuita  Disponibiliza o código-fonte Transporte para diversas plataformas Adapta-se a diversas aplicações Difundida em meio aos estudantes

21 Como ARToolkit Ajuda? Usa algoritmos com conceitos de cálculo de matrizes (álgebra) Calcula a posição no espaço real da câmera e sua orientação em relação à marcadores Programador preocupar-se apenas em sobrepor cenários Abstração dos cálculos de mapeamento

22 Marcadores  Figuras geométricas  Contém símbolos no interior  Rastreamento estima: Posição Orientação

23 Extração de Imagem Imagem limiarizada (preto e branco) Identifica vértices das regiões quadradas Compara os símbolos com os gabaritos dos marcadores já cadastrados Os cálculos são feitos caso haja semelhança

24 Algoritmo Baseia-se na posição encontrada e no tamanho conhecido do padrão Relaciona as coordenadas por meio de uma matriz 3x4 (matriz transformação) Multiplicação de uma matriz transformação "T" por um ponto 3D no marcador (Xm,Ym,Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc,Yc,Zc)

25 Visão Geral

26 Funcionamento Calibração do sistema Captura da imagem de entrada o Sequência de imagens da câmera de video Busca pelos marcadores o As imagens capturadas são convertidas para uma imagem binária para a identificação de padrões (quadrados pretos) Cálculo da posição/orientação da câmera o Relativas aos quadrados pretos

27 Funcionamento Identificação de marcadores o Verifica se o símbolo dos marcador casa com algum padrão na memória. Inserção de imagens virtuais o Usando transformações 3D, a imagem é orientada e posicionada para ser posta no marcador. Renderização da imagem final o A imagem é renderizada em cima do marcador

28 Demonstração levelHead

29 Calibragem da câmera É desejável saber os parâmetros da câmera para posicionar com mais precisão os objetos virtuais sobre a cena real Principais propriedades extraídas da calibragem: – distorções de lente, – ponto central da câmera – distância focal da câmera

30 Calibragem da câmera

31 ARToolkit Framework Arquitetura

32 Quatro módulos: o AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração. o Video Module: conjunto de rotinas que encapsulam a captura de frames de vídeo padrão o Gsub Module: conjunto de rotinas gráficas baseadas nas bibliotecas OpenGL e GLUT

33 Arquitetura

34 Metáfora de pipeline: o Video -> Tracking -> Display o Permite fácil troca de módulos

35 E o quarto módulo? Gsub_Lite Module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas

36 Limitações Marcadores necessitam estar sempre (e totalmente) à mostra o Pode limitar o tamanho e movimento dos objetos virtuais Orientação do marcador relativa à câmera o Inclinação do marcador reduz precisão Tamanho do marcador o Marcadores maiores = distâncias maiores

37 Limitações Condições de iluminação o Iluminação direta sobre o marcador pode causar problemas de reconhecimento Complexidade do marcador o Figuras simples e não simétricas o Maior complexidade = Menor alcance

38 Projetos The BlackMagic kiosk Magic Book PyARTK Augmented Reality Encyclopedia AR Tower Defense ARToolkit on Iphone E muitos outros...

39 Dúvidas?

40