A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Adônis Tavares João Gabriel Silvia Taveiros 17/06/2009 Markless Reality Augmented (MAR)

Apresentações semelhantes


Apresentação em tema: "Adônis Tavares João Gabriel Silvia Taveiros 17/06/2009 Markless Reality Augmented (MAR)"— Transcrição da apresentação:

1 Adônis Tavares João Gabriel Silvia Taveiros 17/06/2009 Markless Reality Augmented (MAR)

2 Roteiro  Motivação  O que é Realidade Aumentada(RA)  O que é RA sem Marcador  Qual a diferença entre RA com marcador e sem marcador  Técnicas de RA sem Marcador  Conclusão  Tendências da área  Referências

3 Motivação  Perspectivas de aplicação nas mais diversas áreas, tais como construção civil, aviação e engenharias.  As técnicas de MAR têm sido muito estudadas e discutidas tanto pela academia quanto pela indústria

4 O que é Realidade Aumentada ?  Realidade Aumentada é definida usualmente como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com um ambiente real, por meio de algum dispositivo tecnológico.  RA está inserida no contexto de realidade misturada

5 Componentes formadores de RA

6 O que é MAR(Markless Augmented Reality) A realidade aumentada sem marcadores se caracteriza por executar o rastreamento (tracking) da câmera, processo que permite a correta inserção dos elementos virtuais na cena real, sem a inserção de elementos intrusivos (chamados marcadores) ao ambiente.

7 O que MAR difere de RA com Marcadores  A abordagem baseada em marcadores usa marcadores sintéticos tradicionais que precisam ser posicionados no mundo real a ser rastreado pelo sistema de forma a calcular sua posição e orientação.  Na realidade aumentada sem marcadores qualquer parte do mundo real pode ser usada como um marcador que será rastreado para posicionar os objetos virtuais.

8 Técnicas de MAR

9 Baseada em Modelos  É necessária a aquisição de conhecimento prévio acerca do mundo real. Este conhecimento é guardado em um modelo 3D, geralmente um modelo CAD, posteriormente usado para estimar a pose da câmera.  Classifica-se em 3 categorias:  Baseado em arestas  Baseado em fluxo óptico  Baseado em textura

10 Baseada em modelos: 1. Baseada em arestas A estimativa da pose da câmera é realizada pelo relacionamento entre o wireframe do modelo 3D e as informações das arestas da imagem do mundo real.

11 Baseada em modelos: 1. Baseada em arestas  Duas classificações possíveis dependentes da forma como as características das arestas são utilizadas para o rastreamento:  Baseada na detecção explícita de arestas  Baseada na amostragem de pontos nas arestas

12 1.1 Baseada na detecção explícita de arestas  Tem como característica utilizar a correspondência entre as arestas como um todo para realizar o rastreamento da câmera.  Correspondência se dá entre as arestas extraídas na cena real e as arestas projetadas do modelo 3D utilizando-se a pose prevista para a cena

13 1.2 Baseada na amostragem de pontos nas arestas  Têm como característica fundamental a seleção de pontos de controle 3D ao longo das arestas do objeto rastreado. A partir destes pontos é feito um relacionamento dos mesmos com os pontos 2D extraídos das arestas a cada quadro da cena de forma a recuperar as informações de câmera

14 Baseada em modelos: 2. Baseado em fluxo óptico As informações utilizadas para a estimativa da pose advém do movimento relativo entre os quadros da seqüência.

15 Baseada em modelos: 3. Baseado em texturas  Leva em consideração informações de textura presentes nas imagens para realizar o tracking  Pode ser subdividido em:  Template Matching  Interest Point Based

16 Template Matching  Baseada em informações globais  A força dessa técnica está em conseguir tratar padrões complexos que seriam difíceis de tratar com características locais  Apresenta problemas com variações de iluminação, oclusão e movimentos rápidos de câmera

17 Template Matching  Também é chamada de sum-of-square-difference (SSD), pois tenta diminuir a diferença entre a região da imagem e o template referenciado  Procura parâmetros que aproximem o template da Imagem de entrada

18 Template Matching

19 Interest Point Based  Baseia-se em características locais, evitando assim problemas de oclusão e variação de iluminação  Possui bom desempenho computacional

20 3.2 Interest Point Based  É necessário um pré-processamento para gerar informações que evitam problemas de drift. Essas informações aparecem como um keyframe.  Keyframe:  Guarda os pontos 2D extraídos da posição conhecida da câmera  Poucos são necessários para iniciar o tracking

21 3.2 Interest Point Based

22  Após todos os keyframes serem gerados é preciso descobrir a primeira posição da câmera  Depois disso usando a distância da Mahalanobis é encontrado o keyframe que mais se aproxima do frame atual

23 Interest Point Based  Uma imagem sintética é criada com posição próxima ao frame usando homografia na imagem do keyframe mais próximo a imagem

24 Interest Point Based  Características relevantes são comparadas entre o frame atual e a imagem intermediária gerada  Baseado nos resultados de compatibilidade a posição câmera pode ser estimada

25 3.2 Interest Point Based

26 3.3 Tracking By Detection  Não necessitam de uma estimativa de posição inicial  São invariantes a mudanças de escala e de iluminação  São mais lentos do que os métodos recursivos, por isso necessitam de muito pré-processamento

27 3.3 Tracking By Detection  As técnicas podem ser divididadas em:  Edge Based  Texture Based

28 3.3.1 Edge Based  Usa informações das bordas dos objetos para detectá-los em uma sequência real de imagens  Essa técnica é mais robusta que as baseadas em textura, pois não é afetada por mudanças na iluminação dos objetos

29 View Based  É uma técnica do tipo Edge Based  Funciona bem para objetos não planos  Tenta encontrar nos modelos de bordas pré- processados aquele mais compatível com as bordas do frame atual

30 3.3.1 View Based  No pré-processamento cada face do modelo é pintada com uma cor de acordo com o vetor normal a face. Cada cor representa uma coordenada (X,Y,Z), com isso obtém-se a amplitude da aresta

31 3.3.1 View Based  Na cena modelada são retiradas várias imagens de forma hierárquica de várias posições diferentes  O espaço de visões é modificado por 3 parâmetros:  Longitude  Latitude  Distância

32 3.3.1 View Based

33  Quando o pré-processamento é encerrado, o frame atual capturado pela câmera é comparado de maneira hierárquica com os modelos armazenados, para encontrar aquele que mais se aproxima da imagem de entrada

34 View Based  O próximo frame da câmera é comparado somente com os vizinhos do modelo anterior, a busca pode crescer se não houver uma compatibilidade satisfatória

35 3.3.1 View Based  O método se mostra bastante eficaz, deve-se ter cuidado porém com o universo de poses escolhido, pois o tempo computacional pode se tornar um problema

36 3.3.2 Texture Based  Técnicas de tracking por detecção, baseadas em textura  Podem ser pouco eficientes se os objetos rastreados tiverem um poder de reflexão grande

37 Keypoint Based  Técnica do tipo Texture Based  Utiliza algoritmos de comparação e extração de pontos chave  Pontos Chave:  São pontos relevantes da imagem  Não variam com escala, iluminação e rotação

38 Key Point Based  No pré-processamento inicialmente são extraídos keyframes, e todas a posições do modelo da cena devem ser cobertas e suas relações com a câmera guardadas  Para cada keyframe, os keypoints são extraídos e guardados em um kd-tree que os guarda baseado em suas descrições

39 Key Point Based  Na fase de tracking os keypoints são extraidos das imagens de entrada da câmera da mesma maneira que no pré-processamento  Depois de extraídos os keypoints, é procurado na base pré-processada aquele keyframe mais compatível com o frame atual

40 Key Point Based  Se o número de keypoints compatíveis atingir o valor mínimo, a posição pode ser estimada. Senão, o frame sofre uma falha no tracking

41 Key Point Based

42 SfM/SLAM Based  Estimam o deslocamento da câmera e geometria da cena sem conhecimento a priori  Conhecimento é adquirido durante rastreamento  Não dependem da visibilidade do objeto modelado  Mais complexos do que os Model based

43 Structure from Motion (SfM) based  Foco na reconstrução de questões locais  Capaz de reconstruir a estrutura de uma cena em tempo real  Diferentes níveis de detalhe  Maioria das técnicas  Impõe algumas restrições  Não precisa de aprendizagem offline  Reconstrução on the fly  Abordagens muito complexas

44 Real-Time Structure from Motion  Técnica tradicional de SfM  Produz bons resultados em relação a malha final gerada  Mais informações sobre a cena  Possibilita melhorias nos sistemas de MAR  Oclusão de objetos virtuais por objetos reais  Interação física entre esses objetos  API's implementam alguns algoritmos  VXL  OpenCV

45 Real-Time Structure from Motion Feature tracking Camera pose hypothesis generation Pose evalutation and refinement Self-CalibrationTriangulation Estimation of dense depth maps Generation of 3D surface model Generation of 3D texturized model

46  Muito processamento gasto nos algoritmos do pipeline  Restrições de tempo real  Modificações no pipeline  Simplificação de algumas fases  Utilização de outros algoritmo  Implementação de Nistér's (Preemptive RANSAC) Real-Time Structure from Motion

47 Simultaneous Localization and Mapping (SLAM)  Utilizado na Robótica para construir uma representação on the fly do ambiente e estimar o movimento dos robôs  Foco na precisão da localização  Revisitar cenas anteriores sem recuperar sua estrutura  Unir as reconstruções locais para produzir uma representação global  Utiliza métodos modernos de inferência Bayesiana sequencial e alguns sensores como sonar e câmeras

48 Simultaneous Localization and Mapping (SLAM) Landmark extraction Data association State estimation State update Landmark update

49 MonoSLAM  Baseado no método probabilístico SLAM  Câmera de grande abertura angular e movimento livre como único sensor e com restrições de tempo real  Algoritmo roda a 30 fps  Pipeline  Estima a posição da câmera  Cria um mapa esparso de pontos de referência naturais do ambiente

50 MonoSLAM  Vantagens  Eficiente  Baixo jitter  Lida com extreme rotations, oclusão e closed loop  Desvantagens  Restrito a ambientes internos  Movimentos suaves de câmera  Imagem monocromática de câmera


Carregar ppt "Adônis Tavares João Gabriel Silvia Taveiros 17/06/2009 Markless Reality Augmented (MAR)"

Apresentações semelhantes


Anúncios Google