Calibração de câmeras e projetores

Apresentação em tema: "Calibração de câmeras e projetores"— Transcrição da apresentação:

1 Calibração de câmeras e projetores
Paulo Cezar P. Carvalho Luis Antonio Rivera Escriba

2 Reconstrução tridimensional
Princípio: estereoscopia (visão binocular) Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço.

3 Modelagem e calibração de câmeras
Qual é a forma da função que associa a cada ponto do espaço sua posição na imagem? De que parâmetros depende? Calibração Para uma câmera específica, quais são os valores destes parâmetros?

4 Modelos de câmera

5 Modelos de câmera Câmera pin-hole equivalente
Deformação radial causada pelas lentes (modelo empírico)

6 Câmera pin-hole Projeção perspectiva
Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

7 Geometria Projetiva Espaço projetivo RPn Retas pela origem em Rn+1
Coordenadas homogêneas (x, y)  [x, y, 1]  [lx, ly, l] [u, v, w] = {l(u, v, w) | l ≠ 0} ponto (u/w, v/w) [u’, v’, 0] = {l(u’, v’, 0) | l ≠ 0} vetor (u’, v’) R2 1

8 Colineações e transformações projetivas
Transformações lineares em Rn+1  Colineações em RPn  Transformações projetivas em Rn R2 1 A B C A’ B’ C’ A’’ B’’ C’’

9 Projeção Perspectiva

10 Transformação de câmera
Quatro sistemas de coordenadas do mundo (SCM) da câmera (SCC) da imagem (SCI) em pixels (SCP) Três transformações SCC SCI SCM SCP

11 SCM  SCC Mudança de referencial SCC SCI SCM SCP

12 SCC  SCI Projeção perspectiva SCC SCI SCM SCP

13 SCI  SCP Transformação afim SCC SCI SCM SCP

14 Compondo as transformações
parâmetros extrínsecos parâmetros intrínsecos

15 Calibração de câmera Problema: obter os parâmetros extrínsecos (R, T) e intrínsecos (K) da transformação projetiva de câmera. Dados: n pares de pontos correspondentes (Pi, pi) na cena e na imagem.

16 Calibração de câmeras Calibração  estimação de parâmetros  otimização pontos da cena projeção (função não linear) pontos da imagem

17 Resolvendo o problema de otimização
Otimização não-linear Obtenção de uma boa solução inicial Utilização de um método iterativo para melhorar a solução obtida

18 Resolvendo o problema de otimização
Otimização não-linear Obtenção de uma boa solução inicial método de Tsai método de Zhang Utilização de um método iterativo para melhorar a solução obtida método de Levenberg-Marquardt

19 Resolvendo o problema de otimização
Otimização não-linear Obtenção de uma boa solução inicial método de Tsai método de Zhang Utilização de um método iterativo para melhorar a solução obtida método de Levenberg-Marquardt

20 Método de Tsai Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares

21 Método de Tsai Parâmetros Dados
Pi = (Xi, Yi, 0), pi = (ui, vi, 0), i = 1, 2, ..., n

22 Método de Tsai Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty

23 Método de Tsai Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz)

24 Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados.

25 Exemplo

26 Exemplo Posição da câmera: RtT  (49 m, 29 m, 18 m) Z Y X
cena: (0, 13.84, 0) imagem: (15, 254) Z Y X Posição da câmera: RtT  (49 m, 29 m, 18 m)

27 Possíveis arquiteturas
Somente câmeras (calibradas) Câmera e projetor (ambos calibrados) Câmeras (calibradas) e projetor (não calibrado)

28 Calibração conjunta de câmeras
Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema

29 Calibração câmera-projetor
Projetor não pode ser calibrado diretamente através de padrão de calibração!

30 Calibração câmera-projetor
Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração

31 Calibração câmera-projetor
Câmera já calibrada, com parâmetros K, R, t Para cada ponto, correspondência entre ponto (u, v) da imagem projetada (em pixels) ponto do plano z = 0 do mundo, obtido resolvendo onde (u’, v’) são as coordenadas na imagem capturada

32 Exemplo CAMERA PROJETOR fc: 539.464252 fp: 1682.618801 Rc: Rp:
Tc: PROJETOR fp: Rp: Tp: CAMERA  PROJETOR Rcp: Tcp: