Formação de Imagem - Aquisição www.dca.ufrn.br/~lmarcos/courses/visao

Visão adquirindo imagem

Adquirindo imagens digitais Estrutura essencial de um sistema de aquisição de imagens Representação de imagens digitais em um computador Informações práticas em amostragem espacial e ruídos devido à câmera

Sistema de Visão Computacional Câmera visualizadora tipicamente uma câmera CCD (mxn) Frame grabber placa de aquisição Computador (Host computer) processador e memória para processamento Host Computer Frame Grabber CCD Optics

Representação digital de imagem Matriz numérica (MxN) E(i,j) representa o valor de cada pixel (brilho) i indexa a linha j indexa a coluna E(i,j) é geralmente inteiro, no range [0,255] um byte é suficiente para cada cor usado em muitos sistemas atuais

Do CCD para o frame buffer Número de elementos em cada lado do CCD é geralmente diferente da dimensão em pixels do Frame buffer. Então: xim=(n/N)xCCD e yim=(m/M)yCCD n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida CCD tem mxn células geralmente com diferentes tamanhos horizontal e vertical Frame buffer: MxN

Diferentes escalas Mesma distorção de um padrão no Frame buffer (a) é produzida por um grid nxn de elementos retangulares com razão de aspecto n/M (b) e por um grid mxn de elementros quadrados (c). (a) (c) (b) Frame buffer (MxN) Frame buffer (NxN) CCD (nxn)

Amostragem espacial Amostragem espacial inicia-se no CCD Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal).

Teorema da amostragem (Nyquist) Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.

Amostragem espacial Do teorema da amostragem, sabe-se que d determina a freqüência espacial vc mais alta que pode ser capturada pelo sistema de aquisição, de acordo com a relação: vc=1/(2d)

Comparação com espectro de freqüência espacial da imagem Teoria da difração de aberrações: processo de imageamento pode ser expresso em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual

Comparação com freqüência espacial da imagem Se a for o tamanho linear da abertura angular do sistema ótico (diâmetro da abertura circular),  o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´c=a/(f) não contribuem para o espectro espacial da imagem (são filtradas).

Sistema típico vc < v´c aproximadamente de uma ordem de magnitude Assim, desde que o padrão visto possa certamente conter freqüências espaciais maiores que vc, pode ocorrer aliasing

Aliasing Se n é a quantidade de elementos no CCD (direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3) Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas. Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.

Ocorrência de Aliasing

Estimando erros de aquisição Valores da imagem não são o esperado, pois são corrompidos durante aquisição Adquire várias imagens E0,...,En da mesma cena, calcula variância para cada pixel: E(i,j) = 1/(n) k=0n-1 Ek(i,j) (i,j) = (1/(n-1) k=0n-1(E(i,j)- Ek(i,j))2)1/2

Razão sinal-ruído Média de (i,j) na imagem estima o ruído médio de aquisição. Máximo (i,j), com (i;j)  (0,M;0,N) dá o pior erro na imagem. Luz fluorescente pode influenciar o resultado. Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).

Gráfico do erro numa linha +  -  Pixel 1 Pixel 255

Obs: erro sinal-ruído Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído). Ex: SNR de 100 = 10log10100=20dB

Auto-covariância Valores de pixel não são completamente independentes uns dos outros. Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer Considere um padrão espacialmente uniforme na cena, paralelo ao plano imagem, sob luz difusa

Co-variância Seja c = 1/N2, Ni´=N-i´-1, Nj´=N-j´-1. Dada imagem E, para cada i´,j´=0,...,N-1: CEE(i´,j´)=ci=0Ni´j=0Nj´(E(i,j)-E(i,j)) (E(i+i´,j+j´)-E(i+i´,j+j´)) Covariância pode ser estimada como a média da função acima em várias amostras (VÁRIAS IMAGENS) Outro presente pro final de semana!

Gráfico da covariância (média) CEE i’ j’

Parâmetros de câmera Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos Denomina-se frame a Sistema de referência

Pressupostos Frame da câmera pode ser localizado em relação a algum outro frame conhecido (frame de mundo) – R e T Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem) xo zo yo yc xc zc xw zw yw yim xim

Parâmetros internos e externos Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera. Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido

Parâmetros intrínsecos Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos: projeção perspectiva (único parâmetro é f) transformação entre frames de câmera e píxels distorção geométrica introduzida pelo sistema ótico (de aquisição)

De câmera para pixels Devemos ligar (xim,yim), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera Neglicenciando distorções e assumindo que o CCD é uma matriz retangular: x = -(xim-ox)sx y = -(yim-oy)sy sendo (ox,oy) as coordenadas em pixel do centro da imagem (ponto principal) e (sx,sy) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente

De câmera para pixels x = -(xim-ox)sx y = -(yim-oy)sy (n-1) / 2 xim (0,0) Z yim (0,0,f) (m-1) / 2 (0,0) -> (((m-1)/2)sx , (n-1)/2)sy) (m-1,n-1) Y ((m-1)/2,(n-1)/2) -> ((0)sx,(0)sy) X (0,0,0) (m-1,n-1) -> (-((m-1)/2)sx, -((n-1) /2)sy)

Com distorção Com introdução de distorção (RADIAL): x = xd(1+k1r2+k2r4) y = yd(1+k1r2+k2r4) sendo (xd,yd) as coordenadas dos pontos distorcidos e r2 = xd2+yd2. Veja que a distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas

Parâmetros intrínsecos - resumo f = distância focal (COMO ACHAR?) (ox,oy) = localização do centro da imagem, coordenadas de pixel (COMO ACHAR?) (sx,sy) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?) (k1, k2) = coeficientes de distorção, se forem requeridos (COMO ACHAR?) k2 é geralmente ignorado (k1>>k2).

Parâmetros extrínsecos Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.

Parâmetros extrínsecos Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.

Descrevendo a transformação Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames Uma matriz 3x3, de rotação, R, a princípio ortogonal (RtR=RRt), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o número de graus de liberdade para 3

Notação A relação entre as coordenadas de um ponto P em frame de mundo (Pw) e de câmera (Pc) é dada por: Pc=R(Pw-T) r11 r12 r13 R = r21 r22 r23 r31 r32 r33 t1 T = t2 t3

Rotação e translação T yw xim yc yim yw xw yo zc zo zw xc xw xo zw Ry Rz yo Rx zc zo T zw xc xw xo zw

Parâmetros extrínsecos - resumo T = vetor de translação R = matriz de rotação (ou os seus parâmetros livres) Especificam a transformação entre o frame de câmera e o frame de mundo

Calibração de câmera Estimar os valores dos parâmetros intrínsecos e extrínsecos Vários métodos, incluindo distorção geométrica, radiométrica, etc.

Calculando o raio refletido

Trabalhos para casa 1) Verificar o erro das câmeras: a) Calcular a média, o desvio padrão e a variância, para 10 amostras (como tratar 3 bandas separadamente? Média das 3?); b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, três curvas: a média, a média mais desvio padrão; a média menos desvio padrão (média das 3 bandas).

Continuação dos trabalhos c) Indique outros dados da imagem (nível de cinza mínimo para cada cor, nível máximo para cada cor, mostre 2 imagens das 10 adquiridas, taxa de amostragem máxima, etc). 2) Auto-covariância: a) Calcular a covariância para a média das 10 imagens amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro da imagem; b) Plotar o gráfico da média da covariância (bidimensional)