Carregar apresentação
A apresentação está carregando. Por favor, espere
1
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 1 Visão Computacional e Realidade Aumentada Prof Marcelo Gattass 2007-s02 Trabalho 2 – Calibração de câmera e adição de objetos virtuais a cena real César Palomo
2
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 2 Objetivos Calibração de câmera A partir de vídeo de um tabuleiro de xadrez Parâmetros intrínsecos e extrínsecos obtidos Adição de marcadores e objetos virtuais Matrizes Projection e ModelView do OpenGL obtidas através da calibração da câmera Adição de objetos virtuais via OpenGL
3
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 3 Calibração – Identificação de cantos Feita por modelo 2D de um tabuleiro de xadrez Identificação de cantos internos do tabuleiro uso do OpenCV: cvFindChessboardCorners() Exemplo de cantos encontrados e desenhados pelo OpenCV:
4
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 4 Calibração – Parâmetros da câmera Extrínsecos ou externos Localização e orientação da câmera Intrínsecos ou internos Calibração: estimativa destes parâmetros Notação: xcxc ycyc zczc p’ y' x'
5
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 5 Calibração – Parâmetros instrínsecos - 1 Eixo óptico: pode não coincidir com centro óptico da câmera x im y im x’ y’ 0 1 34 1 2 0 3 2 sxsx sysy p' o oyoy oxox 5 Simplificação do método usado: assume que eixo óptico passa pelo centro óptico da câmera
6
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 6 Calibração – Parâmetros instrínsecos - 2 Distância focal f: Assumindo sx = sy (pixel quadrado):
7
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 7 Calibração – Parâmetros instrínsecos - 3 Outras simplificações do método utilizado: Ignora distorção radial Ignora cisalhamento
8
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 8 Calibração – Parâmetros extrínsecos - 1 xcxc ycyc zczc ywyw xwxw zwzw PwPw PcPc t Rotação e translação Inferidas pela relação entre coordenadas do mundo e da câmera
9
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 9 Calibração – Parâmetros extrínsecos - 2 Translação –T x, T y, T z (3 g.l.) Rotação (3 g.l. - a priori) As restrições complicam ao minimar o erro na derivação dos parâmetros
10
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 10 Calibração – Tsai 2D - 1 Utilizou-se Tsai 2D para calibração Assume: Centro óptico conhecido Distorção radial insignificante
11
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 11 Calibração – Tsai 2D - 2 Álgebra para simplificação: Assumindo pixel quadrado:
12
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 12 Calibração – Tsai 2D - 3 Substituição de variáveis Resolve sistema usando SVD (Single Value Decomposition) Por estarmos no 2D...
13
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 13 Calibração – Implementação Utilizou-se Tsai 2D com base nas bibliotecas do “Juiz Virtual” criadas na Tese de Doutorado de Flávio Szenberg [1]: tsaiCalibration2D() e tsaiCalibration2D_Tr() Coordenadas do mundo Tabuleiro conhecido: assumiu-se que casas são quadradas Coordenadas da câmera (ou do olho) Cantos identificados através do OpenCV, como anteriormente descrito Assumiu-se: Centro óptico conhecido: centro da tela (WIDTH / 2, HEIGHT / 2)
14
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 14 Matrizes OpenGL – 1 Matriz de projeção perspectiva do OpenGL : Transformando para o Viewport : xnxn ynyn znzn 111111 xwxw ywyw w h 0 y0y0 x0x0
15
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 15 Matrizes OpenGL – 2 Obtemos então :
16
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 16 Matrizes OpenGL – 3 Utilizando os valores de nearplane, farplane e distância focal : Uso das funções das bibliotecas de Flávio Szenberg[1]: tsaiOGLProjectionMatrix() e tsaiOGLModelViewMatrix() Matriz ModelView obtida a partir de R e T da calibração :
17
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 17 Adição de marcadores e objetos virtuais Carregamento das matrizes do OpenGL glLoadMatrixf() Adição de marcadores e objetos virtuais Marcadores para os cantos do tabuleiro Eixos x em vermelho, y em verde e z em azul Objetos virtuais em cima do tabuleiro
18
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 18 Implementação C++ OpenGL e GLUT OpenCV Bibliotecas de Flávio Szenberg para Tsai2D
19
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 19 Trabalhos futuros Melhoria da iluminação para integrar melhor objetos virtuais à cena Melhoria na performance
20
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 20 Referências [1] Szenberg, Flávio “Acompanhamento de cenas com calibração automática de câmeras”, http://www.tecgraf.puc-rio.br/~szenberg/doutorado/ Enunciado do trabalho: http://www.tecgraf.puc-rio.br/~mgattass/ra/t1Calibra.html OpenCV: http://www.cs.iit.edu/%7Eagam/cs512/lect-notes/opencv-intro/opencv-intro.html Slides da disciplina: http://www.tecgraf.puc-rio.br/~mgattass/ra/ppt/
21
11/09/07 Visão Computacional e Realidade Aumentada César Palomo – cpalomo @ inf. puc-rio. br 21 ? César Palomo cpalomo @ inf. puc-rio. br Perguntas
Apresentações semelhantes
