Calibração de câmeras e projetores Paulo Cezar P. Carvalho Luis Antonio Rivera Escriba

Reconstrução tridimensional Princípio: estereoscopia (visão binocular) Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço.

Modelagem e calibração de câmeras Qual é a forma da função que associa a cada ponto do espaço sua posição na imagem? De que parâmetros depende? Calibração Para uma câmera específica, quais são os valores destes parâmetros?

Modelos de câmera

Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico)

Câmera pin-hole Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Geometria Projetiva Espaço projetivo RPn Retas pela origem em Rn+1 Coordenadas homogêneas (x, y)  [x, y, 1]  [lx, ly, l] [u, v, w] = {l(u, v, w) | l ≠ 0} ponto (u/w, v/w) [u’, v’, 0] = {l(u’, v’, 0) | l ≠ 0} vetor (u’, v’) R2 1

Colineações e transformações projetivas Transformações lineares em Rn+1  Colineações em RPn  Transformações projetivas em Rn R2 1 A B C A’ B’ C’ A’’ B’’ C’’

Projeção Perspectiva

Transformação de câmera Quatro sistemas de coordenadas do mundo (SCM) da câmera (SCC) da imagem (SCI) em pixels (SCP) Três transformações SCC SCI SCM SCP

SCM  SCC Mudança de referencial SCC SCI SCM SCP

SCC  SCI Projeção perspectiva SCC SCI SCM SCP

SCI  SCP Transformação afim SCC SCI SCM SCP

Compondo as transformações parâmetros extrínsecos parâmetros intrínsecos

Calibração de câmera Problema: obter os parâmetros extrínsecos (R, T) e intrínsecos (K) da transformação projetiva de câmera. Dados: n pares de pontos correspondentes (Pi, pi) na cena e na imagem.

Calibração de câmeras Calibração  estimação de parâmetros  otimização pontos da cena projeção (função não linear) pontos da imagem

Resolvendo o problema de otimização Otimização não-linear Obtenção de uma boa solução inicial Utilização de um método iterativo para melhorar a solução obtida

Resolvendo o problema de otimização Otimização não-linear Obtenção de uma boa solução inicial método de Tsai método de Zhang Utilização de um método iterativo para melhorar a solução obtida método de Levenberg-Marquardt

Resolvendo o problema de otimização Otimização não-linear Obtenção de uma boa solução inicial método de Tsai método de Zhang Utilização de um método iterativo para melhorar a solução obtida método de Levenberg-Marquardt

Método de Tsai Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares

Método de Tsai Parâmetros Dados Pi = (Xi, Yi, 0), pi = (ui, vi, 0), i = 1, 2, ..., n

Método de Tsai Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty

Método de Tsai Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz)

Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados.

Exemplo

Exemplo Posição da câmera: RtT  (49 m, 29 m, 18 m) Z Y X cena: (0, 13.84, 0) imagem: (15, 254) Z Y X Posição da câmera: RtT  (49 m, 29 m, 18 m)

Possíveis arquiteturas Somente câmeras (calibradas) Câmera e projetor (ambos calibrados) Câmeras (calibradas) e projetor (não calibrado)

Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema

Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração!

Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração

Calibração câmera-projetor Câmera já calibrada, com parâmetros K, R, t Para cada ponto, correspondência entre ponto (u, v) da imagem projetada (em pixels) ponto do plano z = 0 do mundo, obtido resolvendo onde (u’, v’) são as coordenadas na imagem capturada

Exemplo CAMERA PROJETOR fc: 539.464252 fp: 1682.618801 Rc: Rp: 0.948741 -0.195518 0.248319 0.009372 0.802746 0.596248 -0.315915 -0.563358 0.763430 Tc: -26.773141 -18.953860 118.435571 PROJETOR fp: 1682.618801 Rp: 0.999570 -0.022836 0.018382 0.002219 0.684199 0.729292 -0.029231 -0.728938 0.683955 Tp: -20.237278 -11.698420 221.246040 CAMERA  PROJETOR Rcp: Tcp: 0.957363 0.001997 -0.288881 39.645942 -11.929347 113.928842 0.049429 0.984097 0.170614 0.284627 -0.177619 0.942040