A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Visão Computacional Calibração de Câmeras

Apresentações semelhantes


Apresentação em tema: "Visão Computacional Calibração de Câmeras"— Transcrição da apresentação:

1 Visão Computacional Calibração de Câmeras

2 Parâmetros de câmera Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im

3 Pressupostos Frame é Sistema de referência O frame da câmera pode ser localizado em relação a algum outro frame bem conhecido (frame de mundo) - referencial assumido Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem), pelo menos x e y xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im

4 Parâmetros intrínsecos e extrínsecos (internos e externos) Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera. Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido

5 Parâmetros intrínsecos Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos: –projeção perspectiva (único parâmetro é f) –transformação entre frames de câmera e píxel –distorção geométrica introduzida pelo sistema ótico xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im

6 De câmera para pixels Devemos ligar (x im,y im ), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera Neglicenciando distorções e assumindo que o CCD é uma matriz retangular: x = -(x im -o x )s x y = -(y im -o y )s y sendo (o x,o y ) as coordenadas em pixel do centro da imagem (ponto principal) e (s x,s y ) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente.

7 De pixels para câmera Z Y X x im y im (m-1,n-1) (0,0) (0,0,f) (0,0,0) (m-1) / 2 (n-1) / 2 x = -(x im -o x )s x y = -(y im -o y )s y (0,0) -> (((m-1)/2)s x, (n-1)/2)s y ) (m-1,n-1) -> (-((m-1)/2)s x, -((n-1) /2)s y ) ((m-1)/2,(n-1)/2) -> ((0)s x,(0)s y ) Imagem Camera

8 Com distorção Com introdução de distorção: x = x d (1+k 1 r 2 +k 2 r 4 ) y = y d (1+k 1 r 2 +k 2 r 4 ) sendo (x d,y d ) as coordenadas dos pontos distorcidos e r 2 = x d 2 +y d 2. Veja que a distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas

9 Parâmetros intrínsecos - resumo f = distância focal (COMO ACHAR?) (o x,o y ) = localização do centro da imagem, coordenadas de pixel (COMO ACHAR?) (s x,s y ) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?) (k 1, k 2 ) = coeficientes de distorção, se forem requeridos (COMO ACHAR?) k 2 é geralmente ignorado (k 1 >>k 2 ).

10 Parâmetros extrínsecos O frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.

11 Parâmetros extrínsecos Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo. xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im

12 Descrevendo a transformação Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames Uma matriz 3x3, de rotação, R, a princípio ortogonal (R t R=RR t ), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o número de graus de liberdade para 3

13 Rotação + translação xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T xwxw ywyw zwzw RxRx RzRz RyRy

14 Notação A relação entre as coordenadas de um ponto P em frame de mundo (P w ) e câmera (P c ) é dada por: P c =R(P w -T) r 11 r 12 r 13 t 1 R = r 21 r 22 r 23 T = t 2 r 31 r 32 r 33 t 3 xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T P PcPc PwPw

15 Parâmetros extrínsecos - resumo T = vetor de translação R = matriz de rotação (ou seus parâmetros livres) Especificam a transformação entre o frame de câmera e o frame de mundo

16 Melhorando o modelo de câmera P c =R(P w -T) x = f (X/Z) x = -(x im -o x )s x y = f (Y/Z) y = -(y im -o y )s y -(x im -o x )s x = f [(R 1 t (P w -T))/(R 3 t (P w -T))] -(y im -o y )s y = f [(R 2 t (P w -T))/(R 3 t (P w -T))] R i, i=1,2,3 é um vetor 3D formado pela i-ésima coluna da matriz R. Relacionar coordenadas de mundo às de imagem, usando parâmetros intrínsecos e extrínsecos

17 Reescrevendo como multiplicação de matrizes Sejam as matrizes: -f/s x 0 o x M int = 0-f/s y o y r 11 r 12 r 13 -R 1 t T M ext =r 21 r 22 r 23 -R 2 t T r 31 r 32 r 33 -R 3 t T

18 Equação matricial M int depende apenas dos parâmetros internos e M ext apenas dos externos. Negligenciando distorção radial e expressando P w em coordenadas homogêneas: x 1 X w x 2 = M int M ext Y w x 3 Z w 1 x 1 /x 3 e x 2 /x 3 são as coord. de imagem x im e y im

19 Observação Formalmente, as relação entre um ponto 3D e sua projeção 2D na imagem pode ser entendida como uma transformação linear do espaço projetivo (vetores [X w, Y w, Z w,1] t ) no plano projetivo (vetores [x C, y C, z C ] t ). Esta transformação é definida a menos de um fator de escala, assim M tem apenas 11 entradas independentes.

20 Câmera Perspectiva e Fraca Perspectiva M int transforma de câmera para imagem (parâmetros internos) M ext transforma de mundo para câmera (parâmetros externos) Os modelos de câmera podem ser definidos a partir das equações anteriores, bastando ajustar os parâmetros de forma correta, isto é, basta alterar a matriz M=M int M ext

21 Modelo de câmera perspectiva Assumindo, por simplicidade, que o x =o y = 0 e que s x =s y = 1, M pode ser re-escrita como: -fr 11 -fr 12 -fr 13 fR 1 t T M =-fr 21 -fr 22 -fr 23 fR 2 t T r 31 r 32 r 33 R 3 t T Sem restrições, M descreve o modelo perspectivo completo, sendo chamada de matriz de projeção

22 Modelo com perspectiva fraca Observe que imagem p de P é dada por: X w fR 1 t (T-P) p = M Y w = fR 2 t (T-P) Z w R 3 t (P-T) 1 Mas | R 3 t (P-T) | é a distância de P ao centro de projeção ao longo do eixo ótico.

23 Modelo com perspectiva fraca Então, a equação que aproxima a perspectiva fraca pode ser escrita como: | [ R 3 t (P i -P´) ] / [ R 3 t (P´-T) ] | << 1 onde P i (i=1,2) são pontos no espaço e P´ é o centróide deles xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T P1P1 P2P2 P P-T

24 Modelo com perspectiva fraca Pode-se re-escrever a equação anterior: fR 1 t (T-P i ) p i fR 2 t (T-P i ) R 3 t (P´-T) A matriz de projeção se torna: -fr 11 -fr 12 -fr 13 fR 1 t T M wp = -fr 21 -fr 22 -fr 23 fR 2 t T R 3 t (P´-T)

25 O problema de calibração Estabelecer equações lineares no parâmetro posição de um objeto (coordenadas de mundo) que deve ser determinado numa dada cena Coeficientes das equações são funções específicas da posição (conhecida) da projeção do objeto no plano imagem, da geometria da câmera (intrínsecos) e de sua ótica

26 Equacionando o problema de calibração Encontrar os parâmetros anteriores significa encontrar os coeficientes de equações lineares, dadas certas posições de objetos na cena em coordenadas de mundo e suas respectivas posições na imagem. Assumimos uma transformação de corpo rígido (translação mais rotação e projeção):

27 Equacionando o problema de calibração Ou ainda, entendendo que a translação T e a rotação R podem ser juntadas numa única matriz: A partir dos parâmetros das transformações, pode-se determinar todos os parâmetros intrínsecos e extrínsecos, bem como o inverso também vale. Ou apenas um deles!

28 Resolvendo o problema Determinar um certo número de pontos na cena de coordenadas conhecidas Determinar suas projeções nas imagens (coordenadas de imagens conhecidas) Resolver as equações, encontrando os parâmetros procurados, geralmente usando mínimos quadrados ou outro método de otimização

29 Importância Reconhecimento e reconstrução 3D com conhecimento da geometria real do objeto pode ser muito mais eficiente Permite a localização absoluta de sistemas em relação a um frame de mundo, somente a partir de imagens de objetos na cena

30 Uma forma simples de entender Seja (x i, y i, z i ) a posição inicial de um ponto p i numa cena em coordenadas de mundo. Após aplicar uma rotação R e uma translação T no ponto para referenciá-lo ao sistema de coordenadas da câmera temos a posição dada em coordenadas de câmera por.

31 Uma forma simples de entender É feita então uma projeção do ponto no plano imagem, resultando nas coordenadas de imagem (X i, Y i ). O conjunto de equações a seguir representa as transformações, sendo que em (1) considera-se a rotação e translação como uma transformação homogênea e em (2) elas são separadas.

32 Derivando as equações (1) (2)

33 Derivando as equações 13 parâmetros =

34 Impondo restrições A matriz R representa uma transformação de rotação e isto permite estabelecer a restrição de que sua inversa seja igual a sua transposta ou (ortonormalidade). e

35 Restrições de ortonormalidade e Ou ainda: Duas linhas são vetores unitários, ortogonais uma à outra, enquanto que a restante é o produto cruzado destas duas (válido também para as colunas).

36 Métodos de Calibração Church and Ganapathy Dana Ballard (Computer Vision) Trucco (método direto) Roger Tsai Próxima aula

37 Church and Ganapathy Assume pontos co-planares com coordenadas de mundo e de imagem conhecidas Permite eliminar parâmetros em z Considera distância focal em 1 (sem perda de generalidade)

38 Church and Ganapathy Assumindo f conhecido, ou seja, arbitrando f = 1, pode-se re-escrever as equações

39 Church and Ganapathy Se os pontos são co-planares, pode-se assumir que estão num plano genérico z=0, eliminando então as coordenadas z e consequentemente os parâmetros R 13, R 23 e R 33 :

40 Church and Ganapathy Novas restrições para a matriz de rotação: Usa-se um modelo de minimização de erros, sendo derivado um sistema de equações e calculados os parâmetros reduzidos.

41 Church and Ganapathy Os parâmetros restantes, ainda não determinados, são obtidos por:

42 Modelo do livro do Dana Ballard (Transpõe Matriz) Considere uma matriz C 4x3 mapeando pontos 3D de mundo em pontos 2D de imagem Sejam U e V as coordenadas de imagem de um ponto; um ponto no plano imagem é dado em coordenadas homogêneas por (u,v,t). Então: U = u/t e V = v/t, ou seja: Ut - u = 0 e Vt - v = 0 ou u-Ut = 0 e v-Vt = 0

43 Ballard Para transformar um ponto de mundo: (x,y,z,1)C = (u,v,t) Em notação inversa, sendo C j colunas de C: u = (x,y,z,1)C 1 v = (x,y,z,1)C 2 t = (x,y,z,1)C 3 Pode-se expandir esses produtos internos (C ij ) e re-escrever u-Ut=0 e v-Vt=0 como: xC 11 +yC 21 +zC 31 +C 41 -UxC 13 -UyC 23 -UzC 33 -UC 43 = 0 xC 12 +yC 22 +zC 32 +C 42 -VxC 13 -VyC 23 -VzC 33 -VC 43 = 0

44 Ballard Forma homogênea elimina fator de escala em C (C 43 =1). Então: xC 11 +yC 21 +zC 31 +C 41 -UxC 13 -UyC 23 -UzC 33 = U xC 12 +yC 22 +zC 32 +C 42 -VxC 13 -VyC 23 -VzC 33 = V Daqui é possível montar um sistema de equações

45 Ballard C 11 Em forma matricial: C 21 C 31 x 1 y 1 z U 1 x 1 -U 1 y 1 -U 1 z 1 C 41 U x 1 y 1 z 1 1 -V 1 x 1 -V 1 y 1 -V 1 z 1 C 12 V 1 C 22 = x 2 y 2 z U 2 x 2 -U 2 y 2 -U 2 z 2 C 32 U n x n y n z n 1 -V n x n -V n y n -V n z n C 42 V n C 13 C 23 C 33

46 Número de pontos necessários Cada ponto (x,y,z) associado ao seu ponto (U,V) resulta em duas equações São 11 equações para achar uma solução Se mais que 5,5 pontos são usados, então uma solução usando método dos mínimos quadrados ou outro modelo de regressão polinomial pode ser usado (pseudo- inversa)!

47 Método direto (livro do Trucco) Considere um ponto P no mundo (3D) definido pelas suas coordenadas (X w,Y w,Z w ) Supomos o frame de mundo conhecido Sejam (X c,Y c,Z c ) as coordenadas de câmera do ponto P (com Z c >0, para ser visível); Origem do frame de câmera é o centro de projeção e o seu eixo Z é o eixo ótico. Posição e orientação do frame de câmera são desconhecidas, ou seja, procura-se parâmetros extrínsecos: T (3x1) e R (3x3)

48 Método direto (X c,Y c,Z c ) t = R(X w,Y w,Z w ) t + T Em forma de componentes: X c = r 11 X w +r 12 Y w +r 13 Z w +T x Y c = r 21 X w +r 22 Y w +r 23 Z w +T y Z c = r 31 X w +r 32 Y w +r 33 Z w +T z Negligenciando distorções radiais: x im = -(f/s x )(X c /Z c ) + o x y im = -(f/s y )(Y c /Z c ) + o y

49 Método direto Sem confusão, seja x = x im e y = y im As equações anteriores dependem dos 5 parâmetros internos, não independentes entre si: f, s x, s y, o x e o y. Seja f x = f /s x e = s y /s x, novos parâmetros independentes entre si: f x,, o x e o y f x é a distância focal em pixels horizontal é a razão de aspecto, ou a deformação introduzida pelo sistema de aquisição

50 Método direto Estamos procurando –Parâmetros intrínsecos: o x (origem em x); o y (origem em y); f x = f /s x (comprimento em unidades do tamanho de pixel horizontal) = s y /s x (razão de aspecto) K 1 = coeficiente de distorção radial –Parâmetros extrínsecos: R e T

51 Método direto Substituindo equações (X c,Y c,Z c ) t nas de projeção: x-o x =-f x [(r 11 X w +r 12 Y w +r 13 Z w +T x )/(r 31 X w +r 32 Y w +r 33 Z w +T z )] y-o y =-f y [(r 21 X w +r 22 Y w +r 23 Z w +T y )/(r 31 X w +r 32 Y w +r 33 Z w +T z )] Método reverte-se em: dado um certo número de pontos conhecidos e suas imagens, tentar determinar os parâmetros acima Articulado em duas partes: –(1) assumir o x e o y conhecidos, determinar o restante –(2) encontrar as coordenadas do centro da imagem X c = r 11 X w +r 12 Y w +r 13 Z w +T x Y c = r 21 X w +r 22 Y w +r 23 Z w +T y Z c = r 31 X w +r 32 Y w +r 33 Z w +T z Obs: x = -(f/s x )(Xc/Zc) + ox y = -(f/s y )(Yc/Zc) + oy Obs:

52 Assunções Assume-se que o centro da imagem é conhecido: (x,y) = (x-o x, y-o y ) Centro da imagem é a origem do frame de referência Achar pontos correspondentes suficientes no mundo e na imagem

53 Método direto (1) 1) Assuma o x e o y conhecidos, negligencia distorção, estima f x,, R e T a partir de coordenadas de pontos de mundo (X iw,Y iw, Z iw ) e de imagem (x i, y i ). As equações anteriores tem mesmo denominador, então cada par de pontos dá uma equação da forma: x i f y (r 21 X iw +r 22 Y iw +r 23 Z iw +T y ) = y i f x (r 11 X iw +r 12 Y iw +r 13 Z iw +T x ) ou x i (r 21 X iw +r 22 Y iw +r 23 Z iw +T y )=y i ( f x /f y ) (r 11 X iw +r 12 Y iw +r 13 Z iw +T x ) x-o x =-f x [(r 11 X w +r 12 Y w +r 13 Z w +T x )/(r 31 X w +r 32 Y w +r 33 Z w +T z )] y-o y =-f y [(r 21 X w +r 22 Y w +r 23 Z w +T y )/(r 31 X w +r 32 Y w +r 33 Z w +T z )]

54 Método direto Como = f x /f y é linear, pode-se escrever: x i X wi v 1 +x i Y wi v 2 +x i Z wi v 3 +x i v 4 -y i X wi v 5 -y i Y wi v 6 -y i Z wi v 7 +y i v 8 =0 onde v 1 = r 21 ; v 2 = r 22 ; v 3 = r 23 ; v 4 = T y ; v 5 = r 11 ; v 6 = r 12 ; v 7 = r 13 ; v 8 = T x Pode-se escrever como Av=0, com A sendo: x 1 X w1 x 1 Y w1 x 1 Z w1 x 1 -y 1 X w1 -y 1 Y w1 -y 1 Z w1 -y 1 A= x n X wn x n Y wn x n Z wn x n -y n X wn -y n Y wn -y n Z wn -y n x i (r 21 X iw +r 22 Y iw +r 23 Z iw +T y )=y i ( f x /f y ) (r 11 X iw +r 12 Y iw +r 13 Z iw +T x )

55 Método direto Se N>=7 e os pontos não são complanares, então o sistema tem uma solução não trivial, única a menos de um fator de escala Pode ser determinada pela SVD de A como: A = UDV, como sendo a coluna de V correspondente ao único valor singular nulo ao longo da diagonal de D (veja SVD). (pode ser obtida pelos mínimos quadrados)

56 Método direto Determinar então o fator de escala e os parâmetros de câmera. Seja este fator. Então: v´= (r 21,r 22,r 23,T y, r 11, r 12, r 13, T x ) é a solução procurada. Uma vez que r r 2 22 r 2 23 =1, obtém-se: ( v 2 1 +v 2 2 v 2 3 ) 1/2 = [ 2 (r r 2 22 r 2 23 )] 1/2 =| | Sendo r r r 2 13 =1 e >0, obtém-se:

57 Método direto ( v 2 5 +v 2 6 +v 2 7 ) 1/2 =( 2 2 (r r r 2 13 )) 1/2 = | | Basta resolver ambas equações para encontrar | | e Assim, as primeiras colunas de R e o vetor T podem ser determinados A terceira coluna de R pode ser obtida pelo produto cruzado das duas anteriores

58 Método de Tsai Tsai's camera model is based on the pin hole model of perspective projection. Given the position of a point in 3D world coordinates the model predicts the position of the point's image in 2D pixel coordinates. Tsai's model has 11 parameters: five intrinsics and six extrinsics

59 Parâmetros internos f - Focal length of camera, k - Radial lens distortion coefficient, Cx, Cy - Co-ordinates of centre of radial lens distortion, Sx - Scale factor to account for any uncertainty due to imperfections in hardware timing for scanning and digitisation,

60 Parâmetros externos Rx, Ry, Rz - Rotation angles for the transformation between the world and camera co-ordinates, Tx, Ty, Tz - Translation components for the transformation between the world and camera co-ordinates.

61 Método de Tsai

62 The transformation from world (Xw,Yw,Zw) to image (Xi,Yi,Zi) co-ordinates considers the extrinsic parameters of the camera (Translation T and Rotation R) within the equation:

63 Método de Tsai where R and T characterize the 3D transformation from the world to the camera co-ordinate system and are defined as follows:

64 Método de Tsai

65 1) Transformation from 3D world co- ordinates (Xi,Yi) to undistorted image plane (Xu,Yu) co-ordinates:

66 Método de Tsai 2) Transformation from undistorted (Xu,Yu) to distorted (Xd,Yd) image co-ordinates: with and k is the lens distortion coefficient

67 Método de Tsai 3) Transformation from distorted co- ordinates in image plane (X d,Y d ) to the final image co-ordinates (X f,Y f ) are: and with (d x,d y ): distance between adjacent pixels the X and Y direction (fixed camera parameters). (X f,Y f ) are the final pixel position in the image.

68 Métodos de Calibração Médodo de Fischler-Bolles Grosky e Tamburino Kumar e Hanson Próxima aula

69 Método de FISCHLER-BOLLES Ao invés de procurarem R e T diretamente, procuram as distâncias entre os pontos transformados e a origem: O z x p 3 b y a p 1 c p 2

70 Método de FISCHLER-BOLLES As distâncias x, y e z são funções dos pontos transformados, nos quais estarão inseridos os parâmetros de transformação, podendo estes serem determinados a partir da determinação das distâncias.

71 Método de FISCHLER-BOLLES Baseando-se na figura 3 e aplicando a lei dos cosenos, pode-se estabelecer as seguintes equações: x y z c a b O p2p2 p1p1 p3p3

72 Método de FISCHLER-BOLLES Usando as duas últimas equações, por substituição, pode-se eliminar o termo z, chegando-se a uma equação quártica. Usando então esta equação mais a primeira, elimina o termo y, resultando numa equação de grau oito em x, do tipo sendo e onde g é um polinômio em a, b, c, d, e e f.

73 Método de FISCHLER-BOLLES A resolução da equação pode ser conseguida no termo x 2 (é uma quártica em x 2 ) e então encontrados os outros termos por substituição nas equações originais. Então, a partir da determinação das distâncias, podem ser determinados os parâmetros das transformações.

74 Método de Grosky e Tamburino Base: transformações homogêneas (trata em conjunto rotação e translação) y i x i z i

75 Método de Grosky e Tamburino Considerando a translação com sinal negativo, um ponto de imagem em coordenadas homogêneas pode ser obtido a partir de um ponto objeto também em coordenadas homogêneas por: (1)

76 Método de Grosky e Tamburino Sendo, e direções de rotação na figura, os parâmetros de rotação são dados por: xixi yiyi zizi

77 Método de Grosky e Tamburino Sendo x F, y F e z F as coordenadas da origem do sistema de coordenadas de câmera em coordenadas de mundo, temos os parametros de translação dados por:

78 Método de Grosky e Tamburino Seja a matriz homogênea, as coordenadas de câmera, as coordenadas de mundo, pode-se reescrever a equação (1): (2) Das equações de projeção, um ponto na imagem pode ser escrito (centro da imagem como origem do sistema de imagem), como: (3)

79 Método de Grosky e Tamburino A equação que permite passar de coordenadas convencionais (x i,y i ), no sistema intermediário 2D, a píxels (X i,Y i ), que são as coordenadas naturais de imagem (em forma matricial), sem levar em consideração outras correções mais acuradas, pode ser dada por: (y 0,y 0 ) Y X (x i, y i ) (X i, Y i )

80 Método de Grosky e Tamburino Sendo P x =p x f, P y =p y f fatores de escala, a 11 =cosw, a 12 =senw, a 21 =senv, a 22 =cosv, a equação anterior é reescrita da seguinte forma: Usando (3), a equação anterior fica: (3)

81 Método de Grosky e Tamburino Expandindo e usando as equações de (2), a equação anterior é expressa com 20 parâmetros, determinados por: que pode ser abreviado: (2)

82 Kumar e Hanson Dadas as correspondências entre linhas ou pontos em uma cena (3D) e linhas ou pontos numa imagem (2D), o objetivo é encontrar as matrizes de rotação e de translação que mapeiam coordenadas no sistema de mundo para o sistema de câmera. Parâmetros extrínsecos.

83 Restrições de posição para pontos Dado um ponto p numa cena (em coordenadas de mundo) e seu correspondente p c numa imagem (em coordenadas de câmera), pode-se representar uma transformação entre os sistemas de coordenadas por uma translação e uma rotação, dada por: (1) o vetor de translação representa a localização da origem do sistema de coordenadas de mundo representada no sistema de coordenadas de câmera.

84 Restrições de posição para pontos A inversa desta transformação pode ser reescrita para mapear pontos do sistema de coordenadas de câmera para o sistema de mundo como: (2) sendo R t a transposta do operador de rotação (R -1 = R t ) e T w representa a localização da origem do sistema de coordenadas de câmera em coordenadas de mundo.

85 Restrições de posição para pontos x w y c N z w b B y w z c x c a A

86 Restrições de posição para pontos Na figura anterior, a linha AB na cena 3D é projetada na linha ab na imagem, representada pelos píxels a e b. As equações que relacionam um píxel P na imagem e suas coordenadas em um sistema de câmera são dadas por: (3) sendo s x e s y fatores de escala ao longo das direções X e Y, respectivamente

87 Restrições de posição para pontos Com base nas equações (1) e (3), as equações de restrição para pontos podem ser formuladas, sendo as mesma equações anteriores, mas escritas de uma forma diferente da encontrada na literatura: (4)

88 Restrições de posição para pontos Juntando as restrições de ortonormalidade a estas restrições, pode-se usar o método dos mínimos quadrados para encontrar uma solução para R e T.

89 Restrições de posição para linhas Considerando que haja definida na imagem uma linha reta (ab), sua equação pode ser estabelecida nos parâmetros (ângulo com um dos eixos) e (um deslocamento constante) como: Substituindo X e Y dados pela equação (3) a equação anterior fica: (5)

90 Restrições de posição para linhas Esta é a equação de um plano de projeção definido pela reta ab na imagem e pela origem (centro da câmera). A normal a este plano é dada por: (6) Usando as equações (1) e (6), pode-se encontrar a equação de restrição básica para linhas, reescrevendo a equação (5) como:

91 Restrições de posição para linhas A distância perpendicular de um ponto ao plano de projeção dado pela equação (5) é dada por N´(Rp+t)=0, onde N´ é o vetor unitário de N. Considerando que um ponto esteja exatamente no plano de projeção dado pela equação (5), neste caso com a distância do ponto a este plano igual a zero, pode-se formular de uma forma mais simplificada a seguinte equação de restrição básica.

92 Restrições de posição para linhas Ambas equações relacionam os parâmetros de rotação e translação. Para separar rotação subtrai-se a equação anterior em dois pontos na reta, obtendo-se a equação com parâmetros de rotação apenas: sendo d´ o vetor unitário definidor da direção p 1 p 2. Juntando as outras restrições de ortonormalidade, pode-se usar o método dos mínimos quadrados para encontrar uma solução para R e T.

93 Generalidades As diversas soluções para o problema utilizam-se de equações e formas adotadas em geometria (incluindo técnicas de Visão Computacional e Fotogrametria), obtendo- se medidas ou estabelecendo-se relações entre objetos na cena e sua imagem correspondente, desde que a obtenção das imagens tenha sido feita de modo controlado.

94 Generalidades O problema de calibração de câmera é típico de visão computacional, muito abordado nas duas últimas décadas. Em síntese, refere-se à determinação dos parâmetros intrínsecos e extrínsecos de câmeras, a partir pontos conhecidos e de suas imagens e é um pré-processamento para as diversas aplicações de visão computacional e visão robótica.

95 Generalidades Note que o método dos mínimos quadrados é sugerido como ferramenta para resolução do sistema sobre-determinado, dado pela formulação do problema de calibração, ou seja, têm-se mais equações (pontos conhecidos nas imagens) do que incógnitas.

96 Generalidades Uma vez resolvido o problema de calibração e determinados os parâmetros das equações, pode-se usar estes por exemplo para localização de um robô em um determinado ambiente ou para determinação da posição 3D de um dado objeto cujo modelo é conhecido, a partir de sua projeção (2D) nas imagens.

97 Dever de casa (para dia 06/10) Determinar os parâmetros intrínsecos e extrínsecos das câmeras (calibração). Para os parâmetros extrínsecos, considere um padrão colocado a uma distância fixa da câmera, cuja posição e orientação em relação à câmera deverá ser mantida em todo o experimento. Para isso, pontos fácil de localizar na imagem devem ter suas coordenadas determinadas tanto no frame de mundo quanto no de imagem. Arbitre a origem do frame de imagem e de mundo. Cada grupo, usar Tsai e métodos diferentes.

98 Projeto Final de Visão Computacional Construir o sistema de Visão Estéreo de Galatéia –Pesquisar na literatura ourtros sistemas similares e especificar formalmente o problema, resultando num projeto com objetivos e metas, metodologias, atividades, UML em alto nível, justificativas, etc (tudo num relatório). Ao todo umas 20 páginas. –Projetar o sistema, detalhando cada módulo (fazer UML detalhando os subsistemas) –Implementar cada módulo do Sistema de Visão –Realizar experimentos (tarefas de atenção visual e reconhecimento deverão ser realizadas pelo sistema)


Carregar ppt "Visão Computacional Calibração de Câmeras"

Apresentações semelhantes


Anúncios Google