RECONSTRUÇÃO 3D Visão Computacional e Realidade Aumentada

Apresentação em tema: "RECONSTRUÇÃO 3D Visão Computacional e Realidade Aumentada"— Transcrição da apresentação:

1 RECONSTRUÇÃO 3D Visão Computacional e Realidade Aumentada
Prof.: Marcelo Gattass RECONSTRUÇÃO 3D Hildebrando Trannin

2 Objetivo Implementar uma aplicação que gere uma nuvem de pontos para posterior geração manual de uma malha de triângulos de um objeto 3D Entrada: vídeo ou conjunto de imagens Saída: Nuvem de pontos

3 Etapas Extração de frames Detecção de características
Calibração da câmera Correspondência entre essas características Criação de retalhos entre par de frames Alinhamento dos retalhos para geração da nuvem de pontos

4 EXTRAÇÃO DE FRAMES Entrada: vídeo Entrada: imagens
Distância deve ser pequena: próximo de 5 graus Distância maior: Qualidade inferior Perda de características Entrada: imagens Imagens capturadas de acordo com o esperado pela aplicação Distância pode ser maior: 10 graus Qualidade superior Não perde características

5 DETECÇÃO DE CARACTERÍSTICAS
Estruturas específicas em uma imagem canto, aresta, ... Detector de características: SIFT Não varia na escala e rotação da imagem Detecção de texturas Algoritmo possui 4 etapas: Detecção dos máximos locais = Keypoints DoG = Invariante à escala Localização dos keypoints = Refinamento Cálculo da orientação dos keypoints considerando o gradiente = Invariante à rotação Gera descritor de acordo com orientação do keypoint

6 CALIBRAÇÃO Padrão utilizado é o tabuleiro de xadrez Tsai 2D Simples
Somente uma imagem do padrão Parâmetros intrínsecos considerados os mesmos em todas as imagens

7 CORRESPONDÊNCIA Geometria epipolar
Correspondência pela geometria das câmeras Calcular matriz fundamental Precisa de calibração (extrínsecos e intrínsecos) Resultados não satisfatórios

8 CORRESPONDÊNCIA SIFT Distância Euclidiana para cálculo dos correspondentes Força bruta Kd-tree Best Bin First (modificação do kd-tree) Não precisa de calibração Melhores resultados Utiliza facilidades oferecidas pela detecção de características ter sido feito com SIFT

9 CORRESPONDÊNCIA RANSAC - RANdom SAmple Consensus
Método iterativo para estimar dados relevantes de um modelo matemático de um conjunto de dados que contém outliers Resultados produzidos baseados na probabilidade de um certo dado ser inlier ou outlier Eliminação dos outliers de acordo com probabilidade Resultados muito melhores

10 Nuvem de Pontos Triangulação
Retas R e R’ deveriam se intersectar em um ponto, mas erros na calibração e correspondência impedem Construir segmento de reta perpendicular a R e R’ e calcular o ponto médio P desta reta P é o ponto associado a p e p’

11 Nuvem de Pontos Triangulação feita a cada par de frame
Cada par é somente um ponto de vista Geração de retalhos do objeto 3D Alinhamento dos retalhos Correspondência entre pontos característicos do objeto cantos, bordas, ... Informação presente no sistema Rotação inversa do ângulo de cada retalho 10 graus (imagens) ou 5 graus (vídeo) Resultado não satisfatório

12 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 1 – PataHi

13 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 2 – PataHi

14 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 1 – PataHi

15 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 1 – PataHi

16 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 1 – Carro

17 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 1 – Carro Voodoo Camera Tracker

18 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 1 – Carro

19 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 1 – Carro Voodoo Camera Tracker

20 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 1 – Pequeno construtor

21 RESULTADOS DETECÇÃO DE CARACTERÍSTICAS
Imagem 2 – Pequeno construtor

22 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 1 – Pequeno construtor

23 RESULTADOS CORRESPONDÊNCIA
Match 1 e 2 na imagem 2 – Pequeno construtor

24 RESULTADOS CALIBRAÇÃO
Calibração – PataHi

25 RESULTADOS CALIBRAÇÃO
Calibração – Pequeno construtor

26 Resultados Nuvem de Pontos
Retalho 1 - PataHi

27 Resultados Nuvem de Pontos
Retalho 2 - PataHi

28 Resultados Nuvem de Pontos
Retalho 4 - PataHi

29 MELHORIAS CALIBRAÇÃO Tsai 3D ou Zhang
Calibração do Tsai 2D só é boa para pontos próximos ao plano do padrão Mais adequados para reconstrução 3D Estimar matriz fundamental pelo algoritmo de oito pontos

30 Melhorias Nuvem de Pontos
Retificação antes da triangulação Retas que saem de p e p’ se intersectam realmente em P

31 Melhorias Nuvem de Pontos
Iterative Closest Point Método para alinhar pares de retalhos Iterativamente, transforma dois conjuntos de pontos minimizando a distância entre eles Etapas do algoritmo: Pares de pontos são identificados nos dois retalhos Método de otimização calcula o movimento rígido que reduz a distância entre ambos Programa de visualização da nuvem de pontos Mudar rotação pelo mouse Mudar translação pelo teclado

32 CONCLUSÃO Projeto válido por possibilitar um amplo estudo dos assuntos abordados no curso Resultados satisfatórios dependem: Estudo mais a fundo de todas as fases Utilização de diversas técnicas em cada fase Teste dessas técnicas para ajustes

33 REFERÊNCIAS A Review of 3D Reconstruction from Video Sequences - MediaMill3D technical reports series, Dang Trung Kien Automatic Camera Calibration and Scene Reconstruction with Scale-Invariant Features, Jun Liu and Roger Hubbold Computer Vision - A Modern Approach, David A. Forsyth Fotografia 3D, Luiz Velho e Paulo Cezar Carvalho Visual modeling with a hand-held camera, Marc Pollefeys VideoTrace: Rapid interactive scene modelling from video - Voodoo Camera Tracker - Object Recognition from Local Scale-Invariant Features, David G. Lowe A method for registration of 3D shapes, Paul J. Besl e Neil D. Mckay