Formação de Imagem - Aquisição

Apresentação em tema: "Formação de Imagem - Aquisição"— Transcrição da apresentação:

1 Formação de Imagem - Aquisição

2 Visão adquirindo imagem

3 Adquirindo imagens digitais
Estrutura essencial de um sistema de aquisição de imagens Representação de imagens digitais em um computador Informações práticas em amostragem espacial e ruídos devido à câmera

4 Sistema de Visão Computacional
Câmera visualizadora tipicamente uma câmera CCD (mxn) Frame grabber placa de aquisição Computador (Host computer) processador e memória para processamento Host Computer Frame Grabber CCD Optics

5 Representação digital de imagem
Matriz numérica (MxN) E(i,j) representa o valor de cada pixel (brilho) i indexa a linha j indexa a coluna E(i,j) é geralmente inteiro, no range [0,255] um byte é suficiente para cada cor usado em muitos sistemas atuais

6 Do CCD para o frame buffer
Número de elementos em cada lado do CCD é geralmente diferente da dimensão em pixels do Frame buffer. Então: xim=(n/N)xCCD e yim=(m/M)yCCD n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida CCD tem mxn células geralmente com diferentes tamanhos horizontal e vertical Frame buffer: MxN

7 Diferentes escalas Mesma distorção de um padrão no Frame buffer (a) é produzida por um grid nxn de elementos retangulares com razão de aspecto n/M (b) e por um grid mxn de elementros quadrados (c). (a) (c) (b) Frame buffer (MxN) Frame buffer (NxN) CCD (nxn)

8 Amostragem espacial Amostragem espacial inicia-se no CCD
Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal).

9 Teorema da amostragem (Nyquist)
Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.

10 Amostragem espacial Do teorema da amostragem, sabe-se que d determina a freqüência espacial vc mais alta que pode ser capturada pelo sistema de aquisição, de acordo com a relação: vc=1/(2d)

11 Comparação com espectro de freqüência espacial da imagem
Teoria da difração de aberrações: processo de imageamento pode ser expresso em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual

12 Comparação com freqüência espacial da imagem
Se a for o tamanho linear da abertura angular do sistema ótico (diâmetro da abertura circular),  o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´c=a/(f) não contribuem para o espectro espacial da imagem (são filtradas).

13 Sistema típico vc < v´c aproximadamente de uma ordem de magnitude
Assim, desde que o padrão visto possa certamente conter freqüências espaciais maiores que vc, pode ocorrer aliasing

14 Aliasing Se n é a quantidade de elementos no CCD (direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3) Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas. Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.

15 Ocorrência de Aliasing

16 Estimando erros de aquisição
Valores da imagem não são o esperado, pois são corrompidos durante aquisição Adquire várias imagens E0,...,En da mesma cena, calcula variância para cada pixel: E(i,j) = 1/(n) k=0n-1 Ek(i,j) (i,j) = (1/(n-1) k=0n-1(E(i,j)- Ek(i,j))2)1/2

17 Razão sinal-ruído Média de (i,j) na imagem estima o ruído médio de aquisição. Máximo (i,j), com (i;j)  (0,M;0,N) dá o pior erro na imagem. Luz fluorescente pode influenciar o resultado. Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).

18 Gráfico do erro numa linha
+  -  Pixel 1 Pixel 255

19 Obs: erro sinal-ruído Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído). Ex: SNR de 100 = 10log10100=20dB

20 Auto-covariância Valores de pixel não são completamente independentes uns dos outros. Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer Considere um padrão espacialmente uniforme na cena, paralelo ao plano imagem, sob luz difusa

21 Co-variância Seja c = 1/N2, Ni´=N-i´-1, Nj´=N-j´-1.
Dada imagem E, para cada i´,j´=0,...,N-1: CEE(i´,j´)=ci=0Ni´j=0Nj´(E(i,j)-E(i,j)) (E(i+i´,j+j´)-E(i+i´,j+j´)) Covariância pode ser estimada como a média da função acima em várias amostras (VÁRIAS IMAGENS) Outro presente pro final de semana!

22 Gráfico da covariância (média)
CEE i’ j’

23 Parâmetros de câmera Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos Denomina-se frame a Sistema de referência

24 Pressupostos Frame da câmera pode ser localizado em relação a algum outro frame conhecido (frame de mundo) – R e T Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem) xo zo yo yc xc zc xw zw yw yim xim

25 Parâmetros internos e externos
Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera. Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido

26 Parâmetros intrínsecos
Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos: projeção perspectiva (único parâmetro é f) transformação entre frames de câmera e píxels distorção geométrica introduzida pelo sistema ótico (de aquisição)

27 De câmera para pixels Devemos ligar (xim,yim), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera Neglicenciando distorções e assumindo que o CCD é uma matriz retangular: x = -(xim-ox)sx y = -(yim-oy)sy sendo (ox,oy) as coordenadas em pixel do centro da imagem (ponto principal) e (sx,sy) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente

28 De câmera para pixels x = -(xim-ox)sx y = -(yim-oy)sy (n-1) / 2 xim
(0,0) Z yim (0,0,f) (m-1) / 2 (0,0) -> (((m-1)/2)sx , (n-1)/2)sy) (m-1,n-1) Y ((m-1)/2,(n-1)/2) -> ((0)sx,(0)sy) X (0,0,0) (m-1,n-1) -> (-((m-1)/2)sx, -((n-1) /2)sy)

29 Com distorção Com introdução de distorção (RADIAL):
x = xd(1+k1r2+k2r4) y = yd(1+k1r2+k2r4) sendo (xd,yd) as coordenadas dos pontos distorcidos e r2 = xd2+yd2. Veja que a distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas

30 Parâmetros intrínsecos - resumo
f = distância focal (COMO ACHAR?) (ox,oy) = localização do centro da imagem, coordenadas de pixel (COMO ACHAR?) (sx,sy) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?) (k1, k2) = coeficientes de distorção, se forem requeridos (COMO ACHAR?) k2 é geralmente ignorado (k1>>k2).

31 Parâmetros extrínsecos
Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.

32 Parâmetros extrínsecos
Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.

33 Descrevendo a transformação
Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames Uma matriz 3x3, de rotação, R, a princípio ortogonal (RtR=RRt), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o número de graus de liberdade para 3

34 Notação A relação entre as coordenadas de um ponto P em frame de mundo (Pw) e de câmera (Pc) é dada por: Pc=R(Pw-T) r11 r12 r13 R = r21 r22 r23 r31 r32 r33 t1 T = t2 t3

35 Rotação e translação T yw xim yc yim yw xw yo zc zo zw xc xw xo zw Ry
Rz yo Rx zc zo T zw xc xw xo zw

36 Parâmetros extrínsecos - resumo
T = vetor de translação R = matriz de rotação (ou os seus parâmetros livres) Especificam a transformação entre o frame de câmera e o frame de mundo

37 Calibração de câmera Estimar os valores dos parâmetros intrínsecos e extrínsecos Vários métodos, incluindo distorção geométrica, radiométrica, etc.

38 Calculando o raio refletido

39 Trabalhos para casa 1) Verificar o erro das câmeras:
a) Calcular a média, o desvio padrão e a variância, para 10 amostras (como tratar 3 bandas separadamente? Média das 3?); b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, três curvas: a média, a média mais desvio padrão; a média menos desvio padrão (média das 3 bandas).

40 Continuação dos trabalhos
c) Indique outros dados da imagem (nível de cinza mínimo para cada cor, nível máximo para cada cor, mostre 2 imagens das 10 adquiridas, taxa de amostragem máxima, etc). 2) Auto-covariância: a) Calcular a covariância para a média das 10 imagens amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro da imagem; b) Plotar o gráfico da média da covariância (bidimensional)