A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Formação de Imagem - Sampling www.dca.ufrn.br/~lmarcos/courses/visao.

Apresentações semelhantes


Apresentação em tema: "Formação de Imagem - Sampling www.dca.ufrn.br/~lmarcos/courses/visao."— Transcrição da apresentação:

1 Formação de Imagem - Sampling

2 Visão adquirindo imagem

3 Visão - Formação de Imagem Energia de uma fonte de luz é radiada uniformemente em 4 radianos Irradiância é a soma de toda a luz incidente na imagem Reflexão pode ser difusa ou especular, depende da superfície e comprimento de onda da luz Superfície que reflete energia eletro-magnética modula o conteúdo do espectro, intensidade e polarização da luz incidente Função da intensidade radiante é projetada no plano imagem 2D, espacialmente amostrada e digitalizada a 30 fps.

4 Formação da imagem Geometria da câmera (lentes finas) –equação fundamental 1 /Z´ + 1/z´ = 1/f Radiometria E(p) = f(L(P)) –reflexão Lambertiana L= I t n (I transposto) –ângulo sólido = A cos / r 2 –equação fundamental E(p) = L(p) /4 (d/f) 2 cos 4

5 Formação Geométrica da Imagem Relação entre a posição dos pontos da cena com a imagem Câmera perspectiva Câmera com fraca perspectiva

6 Modelo perspectivo ideal P p O P O oP1P1 p p1p1 yx z y x z Plano imagem f f o P1P1 p1p1

7 Distorção perspectiva pin-hole

8 Modelo ideal

9

10 Equações perspectiva x = f (X/Z) y = f (Y/Z) Equações são não lineares devido à divisão O Z Y y f y z

11 Perspectiva fraca Requer que a distância entre dois pontos na cena z ao longo do eixo z (isto é, a profundidade da cena) seja muito menor que a distância média dos pontos vistos da câmera. x = f (X/Z) = f (X/Z´) y = f (Y/Z) = f (Y/Z´) Neste caso, x=X e y=Y descrevem a ortográfica, viável para z < Z´/20

12 Refração

13 Inversão de Percepção Se estímulos sensoriais são produzidos de um único modo pelo mundo, então como deveria ser o mundo para produzir este estímulo? estimulo = f(mundo) mundo = f -1 (estímulo) As funções f() são apenas parcialmente conhecidas e f -1 (), inversa de f não é bem condicionada (não se comporta direito).

14 Conhecimento e Experiência Adquire-se através da associação de dados sensoriais de forma eficiente Conseguem preencher espaços inacessíveis pela processo de formação de imagens Engana o cérebro

15

16

17

18 Representação matricial

19 Imagem e seu gráfico

20 Reconstrução - Amostragem

21 Amostragem - resolução espacial Variação da amostragem no espaço –imagens com diferentes resoluções (pixels cobrem áreas diferentes)

22 Amostragem - quantização Variação da amostragem pela quantização –número de níveis de intensidade para cada pixel varia de uma imagem para outra

23 Amostragem - quantização

24

25

26 Amostragem-resolução temporal Variação da amostragem no tempo –tempo de amostragem do sensor é diferente –usando sistemas de aquisição diferentes Influencia qualidade final de cada pixel

27 Propriedades espaciais Delta de dirac Esta função tem as seguintes propriedades: Sifting property

28 Comentários A primeira propriedade sugere um tipo de máscara infinitesimal que amostra a imagem precisamente na posição (x,y) A segunda propriedade é conhecida como Sifting property.

29 Funções especiais Dirac delta (x)=0,x 0 lim 0 - (x)dx = 1 Sifting property - f(x´) (x-x´)dx´=f(x) Scale (ax) = (x)/|a| Delta de Kronecker (n)=0, n 0 (n)=1, n=0 Sifting property m=- f(m) (n-m) =f(n)

30 Transformada de Fourier onde u é a freqüência espacial em ciclos por pixel, de modo que quando x é especificado em pixels, 2 ux é em radianos, e i= -1

31 Pares transformados

32 Pares de transformadas

33 Propriedade: freqüência espacial Se f(x,y) é a luminância e x,y as coordenadas espaciais, então 1 e 2 (ou u,v) são as freqüências espaciais que representam a mudança de luminância com respeito às distâncias espaciais. As unidades 1 e 2 (ou u,v) são recíprocas de x e y respectivamente. Algumas vezes as coordenadas x,y são normalizadas pela distância de visualização da imagem f(x,y). Então as unidades 1 e 2 (u,v) são dadas em ciclos por grau (do ângulo de visualização).

34 Propriedade: unicidade Para funções contínuas, f(x,y) e F( 1, 2 ) são únicas com respeito uma à outra. Não há perda de informação se for preservada a transformada ao invés da função

35 Propriedade: separabilidade O kernel da transformada de Fourier é separável, de modo que ela pode ser escrita como uma transformação separável em x e y. F( 1, 2 )= f(x,y)exp(-i2 x 1 )dx exp(-i2 y 2 )dy Isso significa que a transformação 2D pode ser realizada por uma sucessão de duas transformações unidimensionais, ao longo de cada uma das coordenadas.

36 Teorema do deslocamento De modo que

37 Convolução A convolução de duas funções f e g onde é uma variável de integração

38 Teorema da convolução então

39 Teorema da amostragem Seja F( )= transformada de Fourier de uma função f(t), com t (-,+ ). Assumimos que f é limitada em banda, isto é, F( )= 0, para | |> c >0. Então, podemos formular o teorema da amostragem.

40 Teorema da amostragem A função f pode ser reconstruída exatamente para todo t (-,+ ), a partir de uma seqüência de amostras eqüidistantes f n =f(n / c ), de acordo com a seguinte formula: f(t)= - f n sin( c t-n )/( c t-n ) = - f n sinc( c t-n )

41 Aliasing Uma função contínua no espaço f(x) é amostrada pelo cálculo do produto de f(x) por g(x), uma seqüência infinita de deltas de Dirac Queremos determinar os efeitos da função de amostragem na energia espectral em f(x)

42

43 Aliasing Pelo teorema da convolução, sabemos que o produto destas duas funções espaciais é igual à convolução dos seus pares de Fourier Podemos escrever a função H(u) em termos de F(u):

44 Aliasing

45 Deste modo, o espectro de freqüência da imagem amostrada consiste de duplicações do espectro da imagem original, distribuída a intervalos 1/x 0 de freqüência. Seja R(u) um filtro passa-banda no domínio da freqüência. 0 caso contrário

46 Aliasing Quando os espectros replicados interferem, a interferência introduz relativa energia em altas freqüências mudando a aparência do sinal reconstruído

47 Teorema da amostragem (nyquist) Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.

48 Adquirindo imagens digitais Estrutura essencial de um sistema de aquisição de imagens Representação de imagens digitais em um computador Informações práticas em amostragem espacial e ruídos devido à câmera

49 Sistema de Visão Computacional Câmera visualizadora –tipicamente uma câmera CCD (mxn) Frame grabber –placa de aquisição Computador (Host computer) –processador e memória para processamento

50 Representação digital de imagem Matriz numérica (MxN) –E(i,j) representa o valor de cada pixel (brilho) i indexa a linha j indexa a coluna E(i,j) é geralmente inteiro, no range [0,255] –um byte é suficiente –usado em muitos sistemas atuais

51 Do CCD para o frame buffer x im =(n/N)x CCD y im =(m/M)y CCD n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida CCD tem nxn células geralmente com diferentes tamanhos horizontal e vertical Frame buffer: MxN

52 Diferentes escalas Frame buffer (NxN) CCD (nxn) Frame buffer (MxN)

53 Amostragem espacial Amostragem espacial inicia-se no CCD Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal). Do teorema da amostragem, sabe-se que d determina a freqüência espacial v c mais alta que pode ser capturada pelo sistema de aquisição, de acordo com: v c =1/2d

54 Comparação com freqüência espacial da imagem Teoria da difração: processo de imageamento pode ser expresso em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual Se a for o tamanho linear da abertura angular, do sistema ótico (diâmetro da abertura circular), o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´ c =a/( f) não contribuem para o espectro espacial da imagem (são filtradas).

55 Sistema típico v c < v´ c aproximadamente de uma ordem de magnitude Assim, desde que o padrão visto possa ter freqüências espaciais maiores que v c, pode ocorrer aliasing

56 Aliasing Se n é a quantidade de elementos no CCD (direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3) Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas. Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.

57 Ocorrência de Aliasing

58 Estimando erros de aquisição Valores da imagem não são o esperado, pois são corrompidos durante aquisição Adquire várias imagens da mesma cena e calcula a variância para cada pixel: E (i,j) = 1/(MN) k=0 n E(i,j) (i,j) = ( 1/(n-1) k=0 n-1 ( E (i,j)- E(i,j) ) 2 ) 1/2

59 Razão sinal-ruído Média de (i,j) pela na imagem é estimação do ruído médio. Máximo (i,j), com (i;j) (0,M;0,N) dá o pior erro na imagem. Luz fluorescente pode influenciar o resultado. Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).

60 Gráfico do erro ao de uma linha Pixel 1Pixel

61 Obs: erro sinal-ruído Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído). Ex: SNR de 100 = 10log =20dB

62 Co-variância Valores de pixel não são completamente independentes uns dos outros. Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer Padrão uniforme na cena, paralelo ao plano imagem, sob luz difusa

63 Co-variância Seja c = 1/N 2, N i´ =N-i´-1, N j´ =N-j´-1. Dada imagem E, para cada i´,j´=0,...,N-1: C EE (i´,j´)=c i=0 Ni´ j=0 Nj´ ( E(i,j)- E (i,j) ) ( E(i+i´,j+j´)- E (i+i´,j+j´) ) Covariância pode ser estimada como a média da função acima em várias amostras Outro presente pro final de semana!

64 Gráfico da covariância (média) x y z

65 Parâmetros de câmera Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos Denomina-se frame a Sistema de referência

66 Pressupostos Frame da câmera pode ser localizado em relação a algum outro frame bem conhecido (frame de mundo) Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem)

67 Parâmetros intrínsecos e extrínsecos (internos e externos) Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera. Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido

68 Parâmetros intrínsecos Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos: –projeção perspectiva (único parâmetro é f) –transformação entre frames de câmera e píxels –distorção geométrica introduzida pelo sistema ótico

69 De câmera para pixels Devemos ligar (x im,y im ), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera Neglicenciando distorções e assumindo que o CCD é uma matriz retangular: x = -(x im -o x )s x y = -(y im -o y )s y sendo (o x,o y ) as coordenadas em pixel do centro da imagem (ponto principal) e (s x,s y ) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente

70 Com distorção Com introdução de distorção: x = x d (1+k 1 r 2 +k 2 r 4 ) y = y d (1+k 1 r 2 +k 2 r 4 ) sendo (x d,y d ) as coordenadas dos pontos distorcidos e r 2 = x d 2 +y d 2. Veja que a distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas

71 Parâmetros intrínsecos - resumo f = distância focal (o x,o y ) = localização do centro da imagem, em coordenadas de pixel (s x,s y ) = tamanho efetivo horizontal e vertical do pixel (k 1, k 2 ) = coeficientes de distorção, se forem requeridos

72 Parâmetros extrínsecos Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.

73 Parâmetros extrínsecos Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.

74 Descrevendo a transformação Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames Uma matriz 3x3, de rotação, R, a princípio ortogonal (R t R=RR t ), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o número de graus de liberdade para 3

75 Notação A relação entre as coordenadas de um ponto P em frame de mundo (P w ) e câmera (P c ) é dada por: P c =R(P w -T) r 11 r 12 r 13 R = r 21 r 22 r 23 r 31 r 32 r 33 t 1 T = t 2 t 3

76 Parâmetros extrínsecos - resumo T = vetor de translação R = matriz de rotação (ou os seus parâmetros livres) Especificam a transformação entre o frame de câmera e o frame de mundo

77 Calibração de câmera Estimar os valores dos parâmetros intrínsecos e extrínsecos Vários métodos, incluindo distorção, etc.

78 Calculando o raio refletido

79 Trabalhos para o final de semana prolongado 1) Trazer o gráfico das principais funções vistas e suas transformadas de Fourier (em papel) 2) Verificar o erro das câmeras adquiridas: –a) Calcular a média, o desvio padrão e a variância, para 20 amostragens (3 bandas e média das 3); –b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, duas curvas: média mais desvio padrão; média menos desvio padrão (3 bandas e média das 3).

80 Continuação dos trabalhos –c) Indique outros dados da imagem (nível de cinza mínimopara cada cor, nível máximo para cada cor, mostre 5 imagens das 20 adquiridas, taxa de amostragem máxima, etc). 3) Auto-covariância: –a) Calcular a covariância para as 25 imagens amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro das imagens; –b) Plotar o gráfico da média da covariância (bidimensional)


Carregar ppt "Formação de Imagem - Sampling www.dca.ufrn.br/~lmarcos/courses/visao."

Apresentações semelhantes


Anúncios Google