Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration.

Apresentação em tema: "Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration."— Transcrição da apresentação:

1 Múltipla calibração eficiente e precisa de câmeras baseada em padrões colineares invariantes a projeção (Efficient and precise multiple camera calibration based on collinear projective invariant patterns) Proposta de doutorado Manuel Eduardo Loaiza Fernandez Marcelo Gattass (orientador) Alberto B. Raposo (co-orientador)

2 Objetivo da Proposta Desenvolver um algoritmo para, simultaneamente, calibrar de forma eficiente e precisa várias câmeras com base nas características invariantes intrínsecas dos padrões colineares.

3 Índice Calibração de câmera. Correspondência de imagens 2D.
Calibração câmera e parâmetros. Múltipla calibração câmera. Áreas de aplicação da teoria múltipla calibração câmera. Métodos para múltipla calibração câmera. Novo método proposto. Correspondência de imagens 2D. Geometria epipolar. Calculo da matriz fundamental. Reconstrução 3D. Resultados.

4 Calibração de câmera Modelar o relacionamento entre o mundo 3D e o plano da imagem 2D que é a projeção do espaço físico capturado. O modelo mais utilizado é o modelo de câmera “Pinhole”.

5 Calibração de câmera: parâmetros
Externos. Matriz de rotação ( R ). Vetor de translação ( T ). Internos. Distancia focal (f). Centro da imagem(Ou’,Ov’).

6 Calibração de câmera: outros parâmetros internos
Coeficientes da distorção das lentes. Radial (k1,k2). Tangencial (p1,p2). Tipos de distorção “pincushion” e “barrel”. Barrel Pincushion

7 Múltipla calibração câmera
Calibração de varias câmeras simultaneamente. Estéreo: calibração de 2 câmeras. Calibração estéreo Múltipla calibração

8 Áreas de aplicação da teoria Múltipla calibração câmera
Sistemas de rastreamento óptico, usadas em aplicações de realidade virtual e aumentada. 8

9 Áreas de aplicação da teoria múltipla calibração câmera
Sistemas de captura de movimento, usadas em áreas de animação 3D. 9

10 Áreas de aplicação da teoria Múltipla calibração câmera
Sistemas de navegação para robôs. 10

11 Múltipla calibração câmera (Métodos)
Alguns dos métodos mais conhecidos para calibração de câmera são: [Jean-Yves Bouguet, 2008 ] apresenta um toolbox completa para calibração de câmera onde se inclui uma versão para estéreo câmera calibração . [Borghese, 2000] apresenta um método para estéreo calibração baseada na captura de uma barra com 2 marcadores bem identificados, adotado por vários sistema de rastreamento ótico comerciais como [ART, 2008 ] [VICON, 2008]. [Svoboda et al, 2005] apresenta um novo método para múltipla calibração câmera baseada na captura de um 1 marcador, e foi modificado para funcionar num sistema estéreo por [Pintaric, 2007]. [Uematsu et al, 2007] apresenta um software D-Calib para múltipla calibração câmera baseada na captura e um padrão planar e uma barra com 2 marcadores, misturando as abordagens de Borghese e Bouguet e mantendo as mesmas restrições de ambos.

12 Calibração de Câmeras Estéreo
Apresentada em [Jean-Yves Bouguet, 2008 ]: Padrão de calibração: padrão planar com formato de tabuleiro de xadrez.

13 Jean-Yves Bouguet, 2008 Calibração inicial individual para cada câmera. A captura da amostragem para otimização global do sistema estéreo é difícil, por causa de não puder capturar uma boa amostra de vistas validas do padrão nas duas câmeras ao mesmo tempo. Otimização baseada no erro de reprojeção 2D dos pontos da amostragem em cada vista do padrão. Não aplicável para um sistema múltipla calibração.

14 Calibração estéreo [Borghese, 2000]:
Padrões de calibração: Barra em formato de “L”. Barra com dois marcadores em cada extremo.

15 Borghese, 2000 Calibração inicial é baseada na extração dos parâmetros internos e externos a partir da decomposição da matriz fundamental(abordagem “Structure from motion”). A captura da amostragem para calibração precisa de um processamento especifico para realizar a correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores. Otimização baseada no erro de reprojeção 2D dos pontos da amostragem e distancia 3D entre os pontos do padrão. Extensível para um sistema múltipla calibração.

16 Múltipla calibração de câmera
Apresentada em [Svoboda et al, 2005] modificada por [Pintaric, 2007]. Padrão de calibração: um marcador (ponteiro laser).

17 [Svoboda et al, 2005 e Pintaric, 2007]
Calibração inicial é baseada na teoria da “Rank – 4 Factorization” e “Euclidean Estratification”. Alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré - calculados. Otimização baseada no erro de reprojeção 2D dos pontos da amostragem. Adaptável para um sistema de estéreo calibração , mas com muitas restrições iniciais sobre que parâmetros são pré - definidos. Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências.

18 Múltipla calibração de câmera
Apresentada em [Uematsu et al, 2007], quase mistura das implementações de [Borghese, 2000] e [Bouguet, 2008]. Padrão de calibração: barra de calibração e padrão planar. 18

19 Uematsu, 2007 Calibração inicial feita a partir da analise e extração da homografia entre os pontos 3D do padrão planar e os pontos 2D correspondentes que aparecem em cada câmera do sistema. Alguns parâmetros internos como a distancia focal podem ser calculados e outros são desprezados como distorção de lentes. Otimização baseada no erro de reprojeção 2D e medidas 3D dos pontos da amostragem (Borghese , 2000). Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 19

20 Múltipla calibração de câmera
Método proposto para múltipla calibração de câmera. Padrão de calibração: padrão planar (Planar formato de Xadrez, “L” ou nenhum) e padrão colinear com características projetivas invariantes [Loaiza et al, 2007]. Calibração feita em 3 etapas.

21 Múltipla calibração de câmera
Sistema estéreo de câmeras, extensível a múltiplas câmeras. Um computador (ou Laptop ). 21

22 Método proposto Etapa inicial:
Calibração inicial individual para cada câmera usando método planar [Zhang, 2000]. Calibração estéreo pode ser com padrão planar ou um padrão do tipo em L. Nenhum padrão, onde usamos uma abordagem “Structure from motion”.

23 Método proposto Etapa Inicial:
Captura de um amostra do padrão colinear projetivo invariante. Detecção do padrão e correspondência dos pontos que conformam o padrão é feita usando a teoria sobre padrões projetivos invariantes [Loaiza et al, 2007], [Meer et al, 1998]. idLeft idRight 23

24 Método proposto Etapa Intermédia:
Usando a implementação descrita em [Thormählen et al,2003] podemos aproveitar a colinearidade de nossos padrões para extrair um estimativa dos parâmetros de distorção das lentes. E usando o valor da projetiva invariantes de nosso padrão podemos fazer a extração de possíveis falsos positivos baseado no desvio padrão calculado para toda amostra de padrões capturados em cada câmera. idProjInv

25 Método proposto Etapa final:
Otimização dos parâmetros iniciais calculados para cada câmera, isto é feito explorando as características do padrão: Erro reprojeção 3D - 2D dos pontos: parâmetros internos. Erro distancias entre pontos do padrão: parâmetros externos (Reconstrução métrica 3D). Erro colinearidade do padrão: extração dos coeficientes da distorção das lentes. a b c

26 Correspondência de imagens 2D
Calculo da matriz fundamental: Geometria epipolar é a geometria intrínseca projetiva existente entre duas vistas. A matriz fundamental encapsula esta geometria intrínseca projetiva.

27 Correspondência de imagens 2D
Calculo da matriz fundamental: Por composição dos parâmetros intrínsecos e extrínsecos das câmeras. Baseado nos parâmetros intrínsecos de cada câmera e os parâmetros extrínsecos em relação a uma origem em comum podemos calcular a Rotação e Translação “(R,t)” entre as câmeras do sistema estéreo. K, Rl , Tl K´, Rr , Tr

28 Correspondência de imagens 2D
Em nossa implementação utilizamos o primeiro método para calcular nossa matriz fundamental, pois aproveitaremos o processo de otimização da etapa de calibração para também otimizar o cálculo de nossa matriz fundamental. 28

29 Correspondência de imagens 2D
Aproveitamos o calculo inicial dos coeficientes da distorção das lentes (Radial, Tangencial). idProjInv

30 Correspondência de imagens 2D
Este cálculo e otimização consiste no seguinte processamento: Calcula-se uma matriz fundamental inicial baseada nos parâmetros intrínsecos e extrínsecos de nossa calibração inicial. Cria-se uma função de erro baseada na distância do ponto para a linha epipolar correspondente a cada ponto de nossa amostra. Nossa matriz fundamental será calculada num espaço “não afetado pela distorção das lentes”, para isto cada vez que nossa amostra de pontos da calibração é utilizado eles serão previamente transformados para o campo não distorcido da imagem. Cada iteração da otimização os passo 1 – 3 são repetidos até que um certo limiar do erro seja alcançado. Em nosso caso o erro de distância da linha epipolar ao seu ponto correspondente fico na média menor que 1 pixel.

31 Correspondência de imagens 2D
O calculo da matriz fundamental é feito sobre imagens não distorcidas da amostragem capturada na etapa de calibração de câmera estéreo. 31

32 Reconstrução 3D Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D, baseado na uso dos parâmetros de nossa calibração. Nossa reconstrução 3D pode se considerar uma reconstrução feita num espaço projetivo euclidiano e métrico.

33 Alguns resultados Medidas
Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D. Alguns testes foram feitos usando diferente cenário, câmera e mudando as lentes das câmeras, os resultados alcançados são apresentados a seguir: Imagem 2, medida real entre os pontos selecionados: mm (1.68 m), Imagem 3, medida real entre os pontos selecionados: mm (41.4 cm), (b) Imagem 1 Imagem 2 (a) • •

34 Testes na imagem 1: Vista 1 : medida recuperada mm (1.67 m - real 1.68 m )

35 Testes na imagem 1: Vista 2 : medida recuperada mm (1.67 m - real 1.68 m )

36 Testes na imagem 1: Vista 3 : medida recuperada mm (1.66 m - real 1.68 m )

37 Testes na imagem 2: Vista 1 : medida recuperada mm (40.2 cm - real 41.4 cm )

38 Testes na imagem 2: Vista 2 : medida recuperada mm (40.9 cm - real 41.4 cm )

39 Testes na imagem 2: Vista 3 : medida recuperada mm (40.9 cm - real 41.4 cm )

40 Resultados Alguns resultados do avanço feito ate agora na implementação da proposta são: Novo método para múltipla calibração de câmera (testado num sistema estéreo). Pareamento automático do padrão colinear a ser correlacionado visto entre as diferentes câmeras. Precisão das medições recuperadas. 40

41 Resultados Teste feito sobre uma amostra de 100 imagens do padrão colinear (Fire-i câmeras): Valor real das distancia do padrão colinear: A: 25.32mm B: 40.70mm C: 56.88mm Erros sem tomar em conta distorção das lentes: Reprojeção 3D - 2D erro por vista do padrão: pixels Erro media das distancia no padrão: mm Distancia Media: A: B: C: Min: A: B: C: Max: A: B: C: Matriz Fundamental erro médio por padrão: pixels por ponto: pixels Erros tomando em conta distorção das lentes: Reprojeção 3D - 2D erro por vista do padrão: pixels Erro media das distancia no padrão : mm Distancia Media : A: B: C: Min: A: B: C: Max: A: B: C: Matriz Fundamental erro médio por padrão : pixels por ponto: 1.75 pixels 41

42 Resultados Teste feito sobre uma amostra de 100 imagens do padrão colinear (Logitech web câmeras): Valor real das distancia do padrão colinear: A: 25.32mm B: 40.70mm C: 56.88mm Erros sem tomar em conta distorção das lentes: Reprojeção 3D - 2D erro por vista do padrão: pixels Erro media das distancia no padrão: mm Distancia Media: A: B: C: Min: A: B: C: , Max: A: B: C: , Matriz Fundamental erro médio por padrão: pixels por ponto: 4.20 pixels Erros tomando em conta distorção das lentes: Reprojeção 3D - 2D erro por vista do padrão: pixels Erro media das distancia no padrão : mm Distancia Media : A: B: C: Min: A: B: C: , Max: A: B: C: , Matriz Fundamental erro médio por padrão: por ponto: 2.26 pixels 42

43 Vantagens da nossa proposta
Nosso algoritmo é mais eficiente e preciso que os disponíveis da literatura. A simplicidade do padrão de calibração permite: Robustez na identificação dos marcadores, mesmo face a ruídos e falsos positivos. Eficiência na captura (mais informação em cada quadro): colinearidade, distâncias entre marcadores e maior numero de marcadores. O método se aplica desde um simples sistema estéreo de duas câmeras até múltiplas câmeras cobrindo grandes áreas de rastreamento. Não requer conhecimento prévio de parâmetros das câmeras. 43

44 Trabalho a ser desenvolvido
Desenvolver a extração dos parâmetros das câmera desde a matriz fundamental (Abordagem “Structure from Motion”). Dar maior robustez na otimização dos parâmetros das câmeras (Testar outros algoritmos de otimização com restrições). Testar o método num sistema com câmera corretamente sincronizadas por hardware, talvez possa agregar maior precisão ao processamento dos parâmetros.

45 Perguntas ?

46 Referencias [Borghese, 2000] , Alberto Borghese and Pietro Cerveri . “ Calibrating a video camera pair with a rigid bar”. Pattern Recognition, 2000. [Svoboda et al, 2005] , Tomas Svoboda, Daniel Martinec and Tomas Pajdla, “ A Convenient Multi-Camera Self-Calibration for Virtual Environments”, PRESENCE: Teleoperators and Virtual Environments, MIT Press, August 2005. [Bouguet, 2008 ] Jean-Yves Bouguet , “Camera Calibration Toolbox for Matlab”, August ,2008 [Pintaric, 2007] , Thomas Pintaric and Hannes Kaufmann, "Affordable Infrared-Optical Pose Tracking for Virtual and Augmented Reality“, IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments, Charlotte, NC (USA), 2007. [Loaiza et al, 2007], Mnauel Loaiza, Alberto B. Raposo, Marcelo Gattass, "A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns“, 3rd International Symposium on Visual Computing – ISVC 2007, Lake Tahoe, Nevada/California, EUA. Advances in Visual Computing - Lecture Notes in Computer Science, vol. 4841, p Springer-Verlag, 2007. [Zhang, 2000], Z. Zhang, “A Flexible New Technique For Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): , 2000.

47 Referencias [Meer et al, 1998], Peter Meer,Reiner Lenz amd Sudhir Ramakrishna,“ Efficient Invariant Representations”. International Journal of Computer Vision 26, 137–152, 1998. [Torr, 1997] Phil Torr and David Murray, “The development and comparision of robust methods for estimating the fundamental matrix”, International Journal Computer Ession, vol. 24, no. 3, pp , September, 1997. [Hartley, 1997], Richard Hartley, “In defense of the eight-point algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp , Vol. 19, June, 1997. [Flusser, 2000],J. Flusser: "On the Independence of Rotation Moment Invariants", Pattern Recognition, vol. 33, pp , 2000 [Uematsu et al, 2007], Uematsu Y., Teshima T., Saito H., Cao Honghua, “D-Calib: Calibration Software for Multiple Cameras System”, 14th International Conference on Image Analysis and Processing (ICIAP), pp , 2007. [Thormählen et al,2003],T. Thormählen, H. Broszio, I. Wassermann,"Robust Line-Based Calibration of Lens Distortion from a Single View“, Proceedings of Mirage 2003 ( Computer Vision / Computer Graphics Collaboration for Model-based Imaging, Rendering, Image Analysis and Graphical Special Effects), INRIA Rocquencourt, France, March 2003, pp ,2003. [Vicon, 2008 ], Vicon Motion Systems, August 2005. [ART, 2008 ], Advanced Real Time Tracking GmbH,