Múltipla calibração de câmeras baseada em padrões colineares invariantes a projeção (Multiple camera calibration based on collinear projective invariant patterns) Manuel Eduardo Loaiza Fernandez Marcelo Gattass (orientador) Alberto B. Raposo (co-orientador) 1

Objetivo do trabalho Desenvolver um algoritmo para, simultaneamente, calibrar de forma eficiente e precisa várias câmeras com base nas características invariantes intrínsecas dos padrões colineares. 2 Id

Índice Calibração de câmera. –Calibração câmera e parâmetros. –Múltipla calibração câmera. Áreas de aplicação da teoria múltipla calibração câmera. Métodos para múltipla calibração câmera. Novo método proposto. Correspondência de imagens 2D. –Geometria epipolar. Calculo da matriz fundamental. Reconstrução 3D. –Euclidiano – Métrica. –Recuperação de medidas (m,cm,mm). Resultados. 3

Calibração de câmera Modelar o relacionamento entre o mundo 3D e o plano da imagem 2D que é a projeção do espaço físico capturado. O modelo mais utilizado é o modelo de câmera “Pinhole”. 4

Calibração de câmera: parâmetros Externos. –Matriz de rotação ( R ). –Vetor de translação ( T ). Internos. –Distancia focal (f). –Centro da imagem(Ou’,Ov’). 5

Calibração de câmera: outros parâmetros internos Coeficientes da distorção das lentes. Radial (k1,k2). Tangencial (p1,p2). Tipos de distorção “pincushion” e “barrel”. BarrelPincushion 6

Calibração de câmera: outros parâmetros internos Tipos de distorção “pincushion” e “barrel”. Barrel Pincushion 7

Múltipla calibração câmera Calibração de varias câmeras simultaneamente. Estéreo: calibração de 2 câmeras. Calibração estéreoMúltipla calibração 8

Áreas de aplicação da teoria de múltipla calibração câmera Sistemas de rastreamento óptico, usadas em aplicações de realidade virtual e aumentada. 9

Áreas de aplicação da teoria de múltipla calibração câmera Sistemas de captura de movimento, usadas em áreas de animação 3D. 10

Áreas de aplicação da teoria de múltipla calibração câmera Sistemas de navegação para robôs. 11

Áreas de aplicação da teoria de múltipla calibração câmera Scanner 3D. 12

Áreas de aplicação da teoria de múltipla calibração câmera Extração de medidas 3D (metros, cm, mm). 13

Múltipla calibração câmera (Métodos) Alguns dos métodos mais conhecidos para calibração de câmera são: –[Jean-Yves Bouguet, 2008 ]. –[Borghese, 2000], adotado por vários sistema de rastreamento ótico comerciais como [ART, 2008 ] [VICON, 2008]. –[Svoboda et al, 2005]. –[Uematsu et al, 2007]. 14

Calibração de Câmeras Estéreo Apresentada em [Jean-Yves Bouguet, 2008 ]: –Padrão de calibração: padrão planar com formato de tabuleiro de xadrez. 15

Jean-Yves Bouguet, 2008 –Calibração inicial individual para cada câmera (parâmetros intrínsecos). –A captura da amostragem para otimização global do sistema estéreo é difícil, por causa de não puder capturar uma boa amostra de vistas validas do padrão nas duas câmeras ao mesmo tempo. –Otimização baseada no erro de reprojeção 2D dos pontos da amostragem em cada vista do padrão. –Não aplicável para um sistema múltipla calibração. 16

Calibração estéreo [Borghese, 2000]: Padrões de calibração: –Barra em formato de “L”. –Barra com dois marcadores em cada extremo. 17

Borghese, 2000 –Calibração inicial é baseada na extração dos parâmetros internos e externos a partir da decomposição da matriz fundamental(abordagem “Structure from motion”). –Otimização baseada no erro de reprojeção 2D dos pontos da amostragem e distancia 3D entre os pontos do padrão. –Extensível para um sistema múltipla calibração. 18

Borghese, 2000 –A captura da amostragem para calibração precisa de um processamento especifico para realizar a correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores. 19

Múltipla calibração de câmera Apresentada em [Svoboda et al, 2005] modificada por [Pintaric, 2007]. –Padrão de calibração: um marcador (ponteiro laser). 20

[Svoboda et al, 2005 e Pintaric, 2007] –Calibração inicial é baseada na teoria da “Rank – 4 Factorization” e “Euclidean Estratification”. –Alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré - calculados. –Otimização baseada no erro de reprojeção 2D dos pontos da amostragem. –Adaptável para um sistema de estéreo calibração, mas com muitas restrições iniciais sobre que parâmetros são pré - definidos. –Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 21

Múltipla calibração de câmera Apresentada em [Uematsu et al, 2007], quase mistura das implementações de [Borghese, 2000] e [Bouguet, 2008]. –Padrão de calibração: barra de calibração e padrão planar. 22

Uematsu, 2007 –Calibração inicial feita a partir da analise e extração da homografia entre os pontos 3D do padrão planar e os pontos 2D correspondentes que aparecem em cada câmera do sistema. –Alguns parâmetros internos como a distancia focal podem ser calculados e outros são desprezados como distorção de lentes. –Otimização baseada no erro de reprojeção 2D e medidas 3D dos pontos da amostragem (Borghese, 2000). –Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 23

Múltipla calibração de câmera Método proposto para múltipla calibração de câmera. –Padrão de calibração: padrão planar (Planar formato de Xadrez, “L” ou nenhum) e padrão colinear com características projetivas invariantes [Loaiza et al, 2007]. –Calibração feita em 3 etapas. 24 Planar XadrezPlanar L Padrão colinear

Múltipla calibração de câmera Sistema estéreo de câmeras, extensível a múltiplas câmeras (4 câmeras simultaneamente). Um computador (ou Laptop ). 25

Método proposto Etapa inicial: –Calibração inicial individual para cada câmera usando método planar [Zhang, 2000]. –Calibração estéreo pode ser com padrão planar ou um padrão do tipo em L. 26

Método proposto Etapa Inicial: –Captura de um amostra do padrão colinear projetivo invariante. –Detecção do padrão e correspondência dos pontos que conformam o padrão é feita usando a teoria sobre padrões projetivos invariantes [Loaiza et al, 2007], [Meer et al, 1998]. 27 id Left id Right

Método proposto Etapa Intermédia: –Usando a implementação descrita em [Thormählen et al,2003] podemos aproveitar a colinearidade de nossos padrões para extrair um estimativa dos parâmetros de distorção das lentes. 28 id ProjI nv

Método proposto Etapa final: –Otimização dos parâmetros iniciais calculados para cada câmera, isto é feito explorando as características do padrão: –Erro reprojeção 3D - 2D dos pontos: parâmetros internos. –Erro distancias entre pontos do padrão: parâmetros externos (Reconstrução métrica 3D). –Erro colinearidade do padrão: extração dos coeficientes da distorção das lentes. 29 a b c a b c

Correspondência de imagens 2D Uma vez que o sistema de múltiplas câmeras foi calibrado, nós podemos calcular a geometria epipolar projetiva entre as câmeras. Esta geometria projetiva nos permite correlacionar pontos presente na imagem de uma câmera em correlação com outra que forma parte do sistema. 30

Correspondência de imagens 2D –A matriz fundamental encapsula esta geometria intrínseca projetiva. –Duas formas de calcular a matriz fundamental: Baseado no calculo de pontos correspondentes entre duas imagens, sem precisar conhecer os parâmetros câmeras. Por composição dos parâmetros intrínsecos e extrínsecos das câmeras. 31

Correspondência de imagens 2D Calculo da matriz fundamental: –Por composição dos parâmetros intrínsecos e extrínsecos das câmeras. –Baseado nos parâmetros intrínsecos “K” de cada câmera e os parâmetros extrínsecos em relação a uma origem em comum podemos calcular a Rotação e Translação “(R,t)” entre as câmeras do sistema estéreo. K, R l, T l K´, R r, T r 32

Correspondência de imagens 2D Em nossa implementação utilizamos o primeiro método para calcular nossa matriz fundamental, e aproveitaremos o processo de otimização da etapa de calibração para também otimizar o cálculo de nossa matriz fundamental. 33

Correspondência de imagens 2D O calculo da matriz fundamental é feito sobre imagens não distorcidas da amostragem capturada na etapa de calibração de câmera estéreo. 34

Reconstrução 3D Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D de objetos analisados dentro da imagem, baseado no resultados da múltipla calibração de câmera feito com o método proposto. –Nossa reconstrução 3D pode se considerar uma reconstrução feita num espaço projetivo euclidiano e métrico. –Dizemos métrico porque as medidas podem ser recuperadas em metros, centímetros ou milímetros. 35

Reconstrução 3D –Alguns testes foram feitos usando diferente cenário, câmera e mudando as lentes das câmeras, os resultados alcançados são apresentados a seguir: a)Imagem 1, medida real entre os pontos selecionados: mm ( 19.6 cm), b)Imagem 2, medida real entre os pontos selecionados: mm (1.68 m), c)Imagem 3, medida real entre os pontos selecionados: mm (41.4 cm), (c)(b)(a) 36

Testes na imagem 1: Vista 1 : medida recuperada mm (19.4 cm - real 19.6 cm ) 37

Testes na imagem 1: Vista 2 : medida recuperada mm (19.2 cm - real 19.6 cm ) 38

Testes na imagem 1: Vista 3 : medida recuperada mm (19.4 cm - real 19.6 cm ) 39

Testes na imagem 2: Vista 1 : medida recuperada mm (1.67 m - real 1.68 m ) 40

Testes na imagem 2: Vista 2 : medida recuperada mm (1.67 m - real 1.68 m ) 41

Testes na imagem 2: Vista 3 : medida recuperada mm (1.66 m - real 1.68 m ) 42

Testes na imagem 3: Vista 1 : medida recuperada mm (40.2 cm - real 41.4 cm ) 43

Testes na imagem 3: Vista 2 : medida recuperada mm (40.9 cm - real 41.4 cm ) 44

Testes na imagem 3: Vista 3 : medida recuperada mm (40.9 cm - real 41.4 cm ) 45

Vantagens da nossa proposta A simplicidade do padrão de calibração permite: –Robustez na identificação dos marcadores, mesmo face a ruídos e falsos positivos. –Eficiência na captura (mais informação em cada quadro): colinearidade, distâncias entre marcadores e maior numero de marcadores. O método se aplica desde um simples sistema estéreo de duas câmeras até múltiplas câmeras cobrindo grandes áreas de rastreamento. Não requer conhecimento prévio de parâmetros das câmeras. 46

Perguntas ? 47

Referencias [Borghese, 2000], Alberto Borghese and Pietro Cerveri. “ Calibrating a video camera pair with a rigid bar”. Pattern Recognition, [Svoboda et al, 2005], Tomas Svoboda, Daniel Martinec and Tomas Pajdla, “ A Convenient Multi-Camera Self-Calibration for Virtual Environments”, PRESENCE: Teleoperators and Virtual Environments, MIT Press, August [Bouguet, 2008 ] Jean-Yves Bouguet, “Camera Calibration Toolbox for Matlab”, August,2008 [Pintaric, 2007], Thomas Pintaric and Hannes Kaufmann, "Affordable Infrared- Optical Pose Tracking for Virtual and Augmented Reality“, IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments, Charlotte, NC (USA), [Loaiza et al, 2007], Mnauel Loaiza, Alberto B. Raposo, Marcelo Gattass, "A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns“, 3rd International Symposium on Visual Computing – ISVC 2007, Lake Tahoe, Nevada/California, EUA. Advances in Visual Computing - Lecture Notes in Computer Science, vol. 4841, p Springer-Verlag, [Zhang, 2000], Z. Zhang, “A Flexible New Technique For Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): ,

Referencias [Meer et al, 1998], Peter Meer,Reiner Lenz amd Sudhir Ramakrishna,“ Efficient Invariant Representations”. International Journal of Computer Vision 26, 137– 152, [Torr, 1997] Phil Torr and David Murray, “The development and comparision of robust methods for estimating the fundamental matrix”, International Journal Computer Ession, vol. 24, no. 3, pp , September, [Hartley, 1997], Richard Hartley, “In defense of the eight-point algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp , Vol. 19, June, [Flusser, 2000],J. Flusser: "On the Independence of Rotation Moment Invariants", Pattern Recognition, vol. 33, pp , 2000 [Uematsu et al, 2007], Uematsu Y., Teshima T., Saito H., Cao Honghua, “D- Calib: Calibration Software for Multiple Cameras System”, 14th International Conference on Image Analysis and Processing (ICIAP), pp , [Thormählen et al,2003],T. Thormählen, H. Broszio, I. Wassermann,"Robust Line-Based Calibration of Lens Distortion from a Single View“, Proceedings of Mirage 2003 ( Computer Vision / Computer Graphics Collaboration for Model- based Imaging, Rendering, Image Analysis and Graphical Special Effects), INRIA Rocquencourt, France, March 2003, pp ,2003. [Vicon, 2008 ], Vicon Motion Systems, August [ART, 2008 ], Advanced Real Time Tracking GmbH, tracking.de/,August