A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

RECONSTRUÇÃO 3D Hildebrando Trannin Visão Computacional e Realidade Aumentada Prof.: Marcelo Gattass.

Apresentações semelhantes


Apresentação em tema: "RECONSTRUÇÃO 3D Hildebrando Trannin Visão Computacional e Realidade Aumentada Prof.: Marcelo Gattass."— Transcrição da apresentação:

1 RECONSTRUÇÃO 3D Hildebrando Trannin Visão Computacional e Realidade Aumentada Prof.: Marcelo Gattass

2 O BJETIVO Implementar uma aplicação que gere uma nuvem de pontos para posterior geração manual de uma malha de triângulos de um objeto 3D Entrada: vídeo ou conjunto de imagens Saída: Nuvem de pontos

3 E TAPAS Extração de frames Detecção de características Calibração da câmera Correspondência entre essas características Criação de retalhos entre par de frames Alinhamento dos retalhos para geração da nuvem de pontos

4 EXTRAÇÃO DE FRAMES Entrada: vídeo Distância deve ser pequena: próximo de 5 graus Distância maior: Qualidade inferior Perda de características Entrada: imagens Imagens capturadas de acordo com o esperado pela aplicação Distância pode ser maior: 10 graus Qualidade superior Não perde características

5 DETECÇÃO DE CARACTERÍSTICAS Características Estruturas específicas em uma imagem canto, aresta,... Detector de características: SIFT Não varia na escala e rotação da imagem Detecção de texturas Algoritmo possui 4 etapas: Detecção dos máximos locais = Keypoints DoG = Invariante à escala Localização dos keypoints = Refinamento Cálculo da orientação dos keypoints considerando o gradiente = Invariante à rotação Gera descritor de acordo com orientação do keypoint

6 CALIBRAÇÃO Padrão utilizado é o tabuleiro de xadrez Tsai 2D Simples Somente uma imagem do padrão Parâmetros intrínsecos considerados os mesmos em todas as imagens

7 CORRESPONDÊNCIA Geometria epipolar Correspondência pela geometria das câmeras Calcular matriz fundamental Precisa de calibração (extrínsecos e intrínsecos) Resultados não satisfatórios

8 CORRESPONDÊNCIA SIFT Distância Euclidiana para cálculo dos correspondentes Força bruta Kd-tree Best Bin First (modificação do kd-tree) Não precisa de calibração Melhores resultados Utiliza facilidades oferecidas pela detecção de características ter sido feito com SIFT

9 CORRESPONDÊNCIA RANSAC - RANdom SAmple Consensus Método iterativo para estimar dados relevantes de um modelo matemático de um conjunto de dados que contém outliers Resultados produzidos baseados na probabilidade de um certo dado ser inlier ou outlier Eliminação dos outliers de acordo com probabilidade Resultados muito melhores

10 N UVEM DE P ONTOS Triangulação Retas R e R deveriam se intersectar em um ponto, mas erros na calibração e correspondência impedem Construir segmento de reta perpendicular a R e R e calcular o ponto médio P desta reta P é o ponto associado a p e p

11 N UVEM DE P ONTOS Triangulação feita a cada par de frame Cada par é somente um ponto de vista Geração de retalhos do objeto 3D Alinhamento dos retalhos Correspondência entre pontos característicos do objeto cantos, bordas,... Informação presente no sistema Rotação inversa do ângulo de cada retalho 10 graus (imagens) ou 5 graus (vídeo) Resultado não satisfatório

12 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 1 – PataHi

13 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 2 – PataHi

14 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 1 – PataHi

15 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 1 – PataHi

16 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 1 – Carro

17 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 1 – Carro Voodoo Camera Tracker

18 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 1 – Carro

19 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 1 – Carro Voodoo Camera Tracker

20 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 1 – Pequeno construtor

21 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS Imagem 2 – Pequeno construtor

22 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 1 – Pequeno construtor

23 RESULTADOS CORRESPONDÊNCIA Match 1 e 2 na imagem 2 – Pequeno construtor

24 RESULTADOS CALIBRAÇÃO Calibração – PataHi

25 RESULTADOS CALIBRAÇÃO Calibração – Pequeno construtor

26 R ESULTADOS N UVEM DE P ONTOS Retalho 1 - PataHi

27 R ESULTADOS N UVEM DE P ONTOS Retalho 2 - PataHi

28 R ESULTADOS N UVEM DE P ONTOS Retalho 4 - PataHi

29 MELHORIAS CALIBRAÇÃO Tsai 3D ou Zhang Calibração do Tsai 2D só é boa para pontos próximos ao plano do padrão Mais adequados para reconstrução 3D Estimar matriz fundamental pelo algoritmo de oito pontos

30 M ELHORIAS N UVEM DE P ONTOS Retificação antes da triangulação Retas que saem de p e p se intersectam realmente em P

31 M ELHORIAS N UVEM DE P ONTOS Iterative Closest Point Método para alinhar pares de retalhos Iterativamente, transforma dois conjuntos de pontos minimizando a distância entre eles Etapas do algoritmo: Pares de pontos são identificados nos dois retalhos Método de otimização calcula o movimento rígido que reduz a distância entre ambos Programa de visualização da nuvem de pontos Mudar rotação pelo mouse Mudar translação pelo teclado

32 CONCLUSÃO Projeto válido por possibilitar um amplo estudo dos assuntos abordados no curso Resultados satisfatórios dependem: Estudo mais a fundo de todas as fases Utilização de diversas técnicas em cada fase Teste dessas técnicas para ajustes

33 REFERÊNCIAS A Review of 3D Reconstruction from Video Sequences - MediaMill3D technical reports series, Dang Trung Kien Automatic Camera Calibration and Scene Reconstruction with Scale-Invariant Features, Jun Liu and Roger Hubbold Computer Vision - A Modern Approach, David A. Forsyth Fotografia 3D, Luiz Velho e Paulo Cezar Carvalho Visual modeling with a hand-held camera, Marc Pollefeys VideoTrace: Rapid interactive scene modelling from video - Voodoo Camera Tracker - hannover.de/docs/manual.htmlhttp://www.digilab.uni- hannover.de/docs/manual.html Object Recognition from Local Scale-Invariant Features, David G. Lowe A method for registration of 3D shapes, Paul J. Besl e Neil D. Mckay


Carregar ppt "RECONSTRUÇÃO 3D Hildebrando Trannin Visão Computacional e Realidade Aumentada Prof.: Marcelo Gattass."

Apresentações semelhantes


Anúncios Google