Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Formação de Imagem - Sampling
2
Visão adquirindo imagem
3
Visão - Formação de Imagem
Energia de uma fonte de luz é radiada uniformemente em 4 radianos Irradiância é a soma de toda a luz incidente na imagem Reflexão pode ser difusa ou especular, depende da superfície e comprimento de onda da luz Superfície que reflete energia eletro-magnética modula o conteúdo do espectro, intensidade e polarização da luz incidente Função da intensidade radiante é projetada no plano imagem 2D, espacialmente amostrada e digitalizada a 30 fps.
4
Formação da imagem Geometria da câmera (lentes finas)
equação fundamental 1 /Z´ + 1/z´ = 1/f Radiometria E(p) = f(L(P)) reflexão Lambertiana L=Itn (I transposto) ângulo sólido = A cos / r2 equação fundamental E(p) = L(p) /4 (d/f)2 cos4
5
Formação Geométrica da Imagem
Relação entre a posição dos pontos da cena com a imagem Câmera perspectiva Câmera com fraca perspectiva
6
Modelo perspectivo ideal
y o x P1 z p1 O f P Plano imagem y x p1 O o P1 p z f P Plano imagem
7
Distorção perspectiva pin-hole
8
Modelo ideal
10
Equações são não lineares devido à divisão
Equações perspectiva y x = f (X/Z) y = f (Y/Z) Equações são não lineares devido à divisão Y y z O f Z
11
Perspectiva fraca Requer que a distância entre dois pontos na cena z ao longo do eixo z (isto é, a profundidade da cena) seja muito menor que a distância média dos pontos vistos da câmera. x = f (X/Z) = f (X/Z´) y = f (Y/Z) = f (Y/Z´) Neste caso, x=X e y=Y descrevem a ortográfica, viável para z < Z´/20
12
Refração
13
Inversão de Percepção “Se estímulos sensoriais são produzidos de um único modo pelo mundo, então como deveria ser o mundo para produzir este estímulo?” estimulo = f(mundo) mundo = f-1(estímulo) As funções f() são apenas parcialmente conhecidas e f-1(), inversa de f não é bem condicionada (não se comporta direito).
14
Conhecimento e Experiência
Adquire-se através da associação de dados sensoriais de forma eficiente Conseguem preencher espaços inacessíveis pela processo de formação de imagens Engana o cérebro
18
Representação matricial
19
Imagem e seu gráfico
20
Reconstrução - Amostragem
21
Amostragem - resolução espacial
Variação da amostragem no espaço imagens com diferentes resoluções (pixels cobrem áreas diferentes)
22
Amostragem - quantização
Variação da amostragem pela quantização número de níveis de intensidade para cada pixel varia de uma imagem para outra
23
Amostragem - quantização
24
Amostragem - quantização
25
Amostragem - quantização
26
Amostragem-resolução temporal
Variação da amostragem no tempo tempo de amostragem do sensor é diferente usando sistemas de aquisição diferentes Influencia qualidade final de cada pixel
27
Propriedades espaciais
Delta de dirac Esta função tem as seguintes propriedades: Sifting property
28
Comentários A primeira propriedade sugere um tipo de máscara infinitesimal que amostra a imagem precisamente na posição (x,y) A segunda propriedade é conhecida como “Sifting property”.
29
Funções especiais Dirac delta (x)=0,x0 lim0 - (x)dx = 1
Sifting property - f(x´)(x-x´)dx´=f(x) Scale (ax) = (x)/|a| Delta de Kronecker (n)=0, n0 (n)=1, n=0 Sifting property m=- f(m)(n-m) =f(n)
30
Transformada de Fourier
onde u é a freqüência espacial em ciclos por pixel , de modo que quando x é especificado em pixels, 2ux é em radianos, e i=-1
31
Pares transformados
32
Pares de transformadas
33
Propriedade: freqüência espacial
Se f(x,y) é a luminância e x,y as coordenadas espaciais, então 1 e 2 (ou u,v) são as freqüências espaciais que representam a mudança de luminância com respeito às distâncias espaciais. As unidades 1 e 2 (ou u,v) são recíprocas de x e y respectivamente. Algumas vezes as coordenadas x,y são normalizadas pela distância de visualização da imagem f(x,y). Então as unidades 1 e 2 (u,v) são dadas em ciclos por grau (do ângulo de visualização).
34
Propriedade: unicidade
Para funções contínuas, f(x,y) e F(1,2) são únicas com respeito uma à outra. Não há perda de informação se for preservada a transformada ao invés da função
35
Propriedade: separabilidade
O kernel da transformada de Fourier é separável, de modo que ela pode ser escrita como uma transformação separável em x e y. F(1,2)=f(x,y)exp(-i2x1)dxexp(-i2y2)dy Isso significa que a transformação 2D pode ser realizada por uma sucessão de duas transformações unidimensionais, ao longo de cada uma das coordenadas.
36
Teorema do deslocamento
De modo que
37
Convolução A convolução de duas funções f e g
onde é uma variável de integração
38
Teorema da convolução então
39
Teorema da amostragem Seja F()= transformada de Fourier de uma função f(t), com t(-,+ ). Assumimos que f é limitada em banda, isto é, F()= 0, para ||>c>0. Então, podemos formular o teorema da amostragem.
40
Teorema da amostragem A função f pode ser reconstruída exatamente para todo t(-,+ ), a partir de uma seqüência de amostras eqüidistantes fn=f(n/c), de acordo com a seguinte formula: f(t)=-fn sin(ct-n)/(ct-n) = -fn sinc(ct-n)
41
Aliasing Uma função contínua no espaço f(x) é amostrada pelo cálculo do produto de f(x) por g(x), uma seqüência infinita de deltas de Dirac Queremos determinar os efeitos da função de amostragem na energia espectral em f(x)
43
Aliasing Pelo teorema da convolução, sabemos que o produto destas duas funções espaciais é igual à convolução dos seus pares de Fourier Podemos escrever a função H(u) em termos de F(u):
44
Aliasing
45
Aliasing Deste modo, o espectro de freqüência da imagem amostrada consiste de duplicações do espectro da imagem original, distribuída a intervalos 1/x0 de freqüência. Seja R(u) um filtro passa-banda no domínio da freqüência. 0 caso contrário
46
Aliasing Quando os espectros replicados interferem, a interferência introduz relativa energia em altas freqüências mudando a aparência do sinal reconstruído
47
Teorema da amostragem (nyquist)
Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.
48
Adquirindo imagens digitais
Estrutura essencial de um sistema de aquisição de imagens Representação de imagens digitais em um computador Informações práticas em amostragem espacial e ruídos devido à câmera
49
Sistema de Visão Computacional
Câmera visualizadora tipicamente uma câmera CCD (mxn) Frame grabber placa de aquisição Computador (Host computer) processador e memória para processamento
50
Representação digital de imagem
Matriz numérica (MxN) E(i,j) representa o valor de cada pixel (brilho) i indexa a linha j indexa a coluna E(i,j) é geralmente inteiro, no range [0,255] um byte é suficiente usado em muitos sistemas atuais
51
Do CCD para o frame buffer
xim=(n/N)xCCD yim=(m/M)yCCD n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida CCD tem nxn células geralmente com diferentes tamanhos horizontal e vertical Frame buffer: MxN
52
Diferentes escalas Frame buffer (MxN) Frame buffer (NxN) CCD (nxn)
53
Amostragem espacial Amostragem espacial inicia-se no CCD
Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal). Do teorema da amostragem, sabe-se que d determina a freqüência espacial vc mais alta que pode ser capturada pelo sistema de aquisição, de acordo com: vc=1/2d
54
Comparação com freqüência espacial da imagem
Teoria da difração: processo de imageamento pode ser expresso em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual Se a for o tamanho linear da abertura angular, do sistema ótico (diâmetro da abertura circular), o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´c=a/(f) não contribuem para o espectro espacial da imagem (são filtradas).
55
Sistema típico vc < v´c aproximadamente de uma ordem de magnitude
Assim, desde que o padrão visto possa ter freqüências espaciais maiores que vc, pode ocorrer aliasing
56
Aliasing Se n é a quantidade de elementos no CCD (direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3) Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas. Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.
57
Ocorrência de Aliasing
58
Estimando erros de aquisição
Valores da imagem não são o esperado, pois são corrompidos durante aquisição Adquire várias imagens da mesma cena e calcula a variância para cada pixel: E(i,j) = 1/(MN) k=0n E(i,j) (i,j) = (1/(n-1) k=0n-1(E(i,j)- E(i,j))2)1/2
59
Razão sinal-ruído Média de (i,j) pela na imagem é estimação do ruído médio. Máximo (i,j), com (i;j) (0,M;0,N) dá o pior erro na imagem. Luz fluorescente pode influenciar o resultado. Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).
60
Gráfico do erro ao de uma linha
+ - Pixel 1 Pixel 255
61
Obs: erro sinal-ruído Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído). Ex: SNR de 100 = 10log10100=20dB
62
Co-variância Valores de pixel não são completamente independentes uns dos outros. Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer Padrão uniforme na cena, paralelo ao plano imagem, sob luz difusa
63
Co-variância Seja c = 1/N2, Ni´=N-i´-1, Nj´=N-j´-1.
Dada imagem E, para cada i´,j´=0,...,N-1: CEE(i´,j´)=ci=0Ni´j=0Nj´(E(i,j)-E(i,j)) (E(i+i´,j+j´)-E(i+i´,j+j´)) Covariância pode ser estimada como a média da função acima em várias amostras Outro presente pro final de semana!
64
Gráfico da covariância (média)
z y x
65
Parâmetros de câmera Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos Denomina-se frame a Sistema de referência
66
Pressupostos Frame da câmera pode ser localizado em relação a algum outro frame bem conhecido (frame de mundo) Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem)
67
Parâmetros intrínsecos e extrínsecos (internos e externos)
Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera. Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido
68
Parâmetros intrínsecos
Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos: projeção perspectiva (único parâmetro é f) transformação entre frames de câmera e píxels distorção geométrica introduzida pelo sistema ótico
69
De câmera para pixels Devemos ligar (xim,yim), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera Neglicenciando distorções e assumindo que o CCD é uma matriz retangular: x = -(xim-ox)sx y = -(yim-oy)sy sendo (ox,oy) as coordenadas em pixel do centro da imagem (ponto principal) e (sx,sy) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente
70
Com distorção Com introdução de distorção: x = xd(1+k1r2+k2r4)
y = yd(1+k1r2+k2r4) sendo (xd,yd) as coordenadas dos pontos distorcidos e r2 = xd2+yd2. Veja que a distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas
71
Parâmetros intrínsecos - resumo
f = distância focal (ox,oy) = localização do centro da imagem, em coordenadas de pixel (sx,sy) = tamanho efetivo horizontal e vertical do pixel (k1, k2) = coeficientes de distorção, se forem requeridos
72
Parâmetros extrínsecos
Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.
73
Parâmetros extrínsecos
Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.
74
Descrevendo a transformação
Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames Uma matriz 3x3, de rotação, R, a princípio ortogonal (RtR=RRt), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o número de graus de liberdade para 3
75
Notação A relação entre as coordenadas de um ponto P em frame de mundo (Pw) e câmera (Pc) é dada por: Pc=R(Pw-T) r11 r12 r13 R = r21 r22 r23 r31 r32 r33 t1 T = t2 t3
76
Parâmetros extrínsecos - resumo
T = vetor de translação R = matriz de rotação (ou os seus parâmetros livres) Especificam a transformação entre o frame de câmera e o frame de mundo
77
Calibração de câmera Estimar os valores dos parâmetros intrínsecos e extrínsecos Vários métodos, incluindo distorção, etc.
78
Calculando o raio refletido
79
Trabalhos para o final de semana prolongado
1) Trazer o gráfico das principais funções vistas e suas transformadas de Fourier (em papel) 2) Verificar o erro das câmeras adquiridas: a) Calcular a média, o desvio padrão e a variância, para 20 amostragens (3 bandas e média das 3); b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, duas curvas: média mais desvio padrão; média menos desvio padrão (3 bandas e média das 3).
80
Continuação dos trabalhos
c) Indique outros dados da imagem (nível de cinza mínimopara cada cor, nível máximo para cada cor, mostre 5 imagens das 20 adquiridas, taxa de amostragem máxima, etc). 3) Auto-covariância: a) Calcular a covariância para as 25 imagens amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro das imagens; b) Plotar o gráfico da média da covariância (bidimensional)
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.