Extração de Características cap 4 – Trucco e Verri

Características de uma imagem Globais: histograma, conteúdo de freqüências, etc... Locais: regiões com determinada propriedade, arestas, cantos, curvas, etc...

Arestas e cantos Locais de mudanças significativas na intensidade da imagem

Edgedels = edge elements

Tipos de arestas degrau(step) rampa(ramp) cume(roof) impulso(spike)

Gráfico sem e com ruído

Derivadas e arestas f(x) f(x)+n(x) | f'(x)+n'(x) | f"(x)+n"(x)

Série de Taylor Com x=1, f(x)=fi e f(x+x)=fi+1 (b)

Aproximações para derivadas f(x) x fi-1 fi fi+1 i+1 i i-1 (a-b)  (a+b) 

Em 2D Gradiente Convolution Kernels Laplaciano

Laplaciano Sometimes we are interested only in changing magnitude without regard to the changing orientation. A linear differential operator called the Laplacian may be used. The Laplacian has the same properties in all directions and is therefore invariant to rotation in the image. http://www.cee.hw.ac.uk/hipr/html/log.html http://ct.radiology.uiowa.edu/~jiangm/courses/dip/html/node83.html

Finite differences Khurram Hassan-Shafique Now the figure on the right is signed; darker is negative, lighter is positive, and mid grey is zero. I always ask 1) which derivative (y or x) is this? 2) Have I got the sign of the kernel right? (i.e. is it d/dx or -d/dx). Khurram Hassan-Shafique

Classical Operators Prewitt’s Operator Differentiate Smooth Khurram Hassan-Shafique

Classical Operators Sobel’s Operator Differentiate Smooth Khurram Hassan-Shafique

Detecting Edges in Image Sobel Edge Detector Edges Threshold Image I Khurram Hassan-Shafique

Sobel Edge Detector Khurram Hassan-Shafique

Sobel Edge Detector Khurram Hassan-Shafique

Marr and Hildreth Edge Operator Smooth by Gaussian Use Laplacian to find derivatives Khurram Hassan-Shafique

Marr and Hildreth Edge Operator Khurram Hassan-Shafique

Marr and Hildreth Edge Operator Y X Khurram Hassan-Shafique

Marr and Hildreth Edge Operator Edge Image Zero Crossings Detection Zero Crossings Khurram Hassan-Shafique

Khurram Hassan-Shafique

Quality of an Edge Detector Robustness to Noise Localization Too Many/Too less Responses True Edge Poor robustness to noise Poor localization Too many responses Khurram Hassan-Shafique

Canny Edge Detector Criterion 1: Good Detection: The optimal detector must minimize the probability of false positives as well as false negatives. Criterion 2: Good Localization: The edges detected must be as close as possible to the true edges. Single Response Constraint: The detector must return one point only for each edge point. Khurram Hassan-Shafique

Hai Tao

The result General form of the filter (N.B. the filter is odd so h(x) = -h(-x) the following expression is for x < 0 only) Camillo J. Taylor

Approximation Canny’s filter can be approximated by the derivative of a Gaussian Canny Derivative of Gaussian Camillo J. Taylor

Canny Edge Detector Convolution with derivative of Gaussian Non-maximum Suppression Hysteresis Thresholding Khurram Hassan-Shafique

Algorithm Canny_Enhancer Smooth by Gaussian Compute x and y derivatives Compute gradient magnitude and orientation Khurram Hassan-Shafique

Canny Edge Operator Khurram Hassan-Shafique

Canny Edge Detector Khurram Hassan-Shafique

Canny Edge Detector Khurram Hassan-Shafique

Algorithm Non-Maximum Suppression We wish to mark points along the curve where the magnitude is biggest. We can do this by looking for a maximum along a slice normal to the curve (non-maximum suppression). These points should form a curve. There are then two algorithmic issues: at which point is the maximum, and where is the next one? Khurram Hassan-Shafique

Non-Maximum Suppression Suppress the pixels in ‘Gradient Magnitude Image’ which are not local maximum Khurram Hassan-Shafique

Non-Maximum Suppression Khurram Hassan-Shafique

Non-Maximum Suppression Khurram Hassan-Shafique

Hysteresis Thresholding Khurram Hassan-Shafique

Hysteresis Thresholding If the gradient at a pixel is above ‘High’, declare it an ‘edge pixel’ If the gradient at a pixel is below ‘Low’, declare it a ‘non-edge-pixel’ If the gradient at a pixel is between ‘Low’ and ‘High’ then declare it an ‘edge pixel’ if and only if it is connected to an ‘edge pixel’ directly or via pixels between ‘Low’ and ‘ High’ Khurram Hassan-Shafique

Hysteresis Thresholding Khurram Hassan-Shafique

Resultado de algoritmo de histerese

Subpixel Localization One can try to further localize the position of the edge within a pixel by analyzing the response to the edge enhancement filter One common approach is to fit a quadratic polynomial to the filter response in the region of a maxima and compute the true maximum. -1 1

Derivadas direcionais f(x,y) y x

Detecting corners If Ex and Ey denote the gradients of the intensity image, E(x,y), in the x and y directions then the behavior of the gradients in a region around a point can be obtained by considering the following matrix Camillo J. Taylor

Examining the matrix One way to decide on the presence of a corner is to look at the eigenvalues of the 2 by 2 matrix C. If the area is a region of constant intensity we would expect both eigenvalues to be small If it contains a edge we expect one large eigenvalue and one small one If it contains edges at two or more orientations we expect 2 large eigenvalues Camillo J. Taylor

Finding corners One approach to finding corners is to find locations where the smaller eigenvalue is greater than some threshold We could also imagine considering the ratio of the two eigenvalues

Computing Image Gradients

Corner Analysis The ellipses indicate the eignvalues and eigenvectors of the C matrices

Juiz Virtual Tese de Flávio Szenberg

Modelos Os modelos utilizados na tese: Modelo de um campo de futebol Modelo sem simetria

Filtragem para realce de linhas O filtro Laplaciano da Gaussiana (LoG) é aplicado à imagem, baseado na luminância. filtro gaussiano filtro laplaciano

Filtragem para realce de linhas  Problemas com linhas duplas

Filtragem para realce de linhas A transformação negativa é aplicada entre o cálculo da luminância e o filtro LoG.

Filtragem para realce de linhas Resultado de uma segmentação (threshold) feita na imagem filtrada. (em negativo para visualizar melhor)

Extração de segmentos de retas longos O objetivo é localizar segmentos de retas longos candidatos a serem linhas da imagem do modelo. O procedimento é dividido em dois passos: Eliminação de pontos que não estão sobre nenhum segmento de reta. Determinação de segmentos de retas.

Eliminando pontos que não estão sobre um segmento de reta A imagem é dividida, por uma grade regular, em células retangulares.

Eliminando pontos que não estão sobre um segmento de reta Para cada célula, os autovalores 1 e 2 (1  2) da matriz de covariância, dada abaixo, são calculados. Se 2 = 0 ou 1/ 2 > M (dado) então o autovetor de 1 é a direção predominante senão a célula não tem uma direção predominante

Eliminando pontos que não estão sobre um segmento de reta Podemos atribuir pesos i aos pontos (resultado do LoG).

Eliminando pontos que não estão sobre um segmento de reta Células com pontos formando segmentos de retas:

Determinando segmentos de reta As células são percorridas de modo que as linhas são processadas de baixo para cima e as células em cada coluna são processadas da esquerda para direita. Um valor é dado para cada célula: Se não existe uma direção predominate na célula, o valor é zero. Caso contrário, verifica-se os três vizinhos abaixo e o vizinho à esquerda da célula corrente. Se algum deles tem uma direção predominante similar ao da célula corrente, quando unidos, então a célula corrente recebe o valor da célula que tem a direção mais similar; senão, um novo valor é usado para a célula corrente.

Determinando segmentos de reta São formados grupos com células de mesmo valor, representados na figura abaixo por cores distintas. 

Extração de segmentos de reta Cada grupo fornece um segmento de reta. A reta de equação v=au+b é encontrada por método de mínimos quadrados: O segmento é obtido limitando a reta pela caixa envoltória dos pontos usados.

Extração de segmentos de reta Os segmentos de reta que estão sobre a mesma reta suporte são unidos, formando segmentos longos, usando mínimos quadrados. No final do processo, tem-se um conjunto de segmentos de reta. f1 f2 f3 f4 f5 f6 f7 

Extração de segmentos de reta Sobrepondo as linhas extraída na imagem, temos o seguinte resultado:

Reconhecimento dos segmentos A partir do conjunto de segmentos, as linhas do modelo são detectadas e o modelo reconhecido [Grimson90]. Método baseado na Transformada de Hough. Método de reconhecimento baseado em modelo. Conjunto de restrições

Reconhecimento dos segmentos Método de Reconhecimento baseado em Modelo f1 f2 f3 f4 f5 f6 f7 Visualização F1 F6 F2 F3 F4 F5 F7 Modelo Árvore de Interpretação F1 F2 F3 F4 F5 F6 F7  f1: F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 F1 F7  F6 F5 F4 F3 F2 f2: F1 F2 F3 F4 F5 F6 F7 

Reconhecimento dos segmentos Discardando nós Visualização Modelo Árvore de Interpretação F1 f4 F5 F7 f2 F2 F6 F4 f5 f7 f1 f3 F3 f6 F1 F2 F3 F4 F5 F6 F7  f1: f2: F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  F1 F2 F3 F4 F5 F6 F7  O nó {f1: F1, f2:F6 , f3:F3} é discardado por que viola a restrição: A linha representante de F6 deve estar entres as linhas que representam F1 e F3, na visualização. f3: F1 F2 F3 F4 F5 F6 F7 

Reconhecimento dos segmentos Problema relacionado com a perspectiva

Reconhecimento dos segmentos Problema relacionado com a perspectiva

Reconhecimento dos segmentos Escolhendo a melhor solução f1 f2 f3 f4 f5 f6 f7 Visualização F1 F6 F2 F3 F4 F5 F7 Modelo Em geral, existem diversas interpretações possíveis; Escolhemos a interpretação onde a soma dos comprimentos dos segmentos representativos é máxima. f1 : F4 f2 : F3 f3 :  f4 :  f5 : F6 f6 : F7 f7 : F1 Vencedor f1 : F4 f2 :  f3 :  f4 : F3 f5 : F6 f6 : F7 f7 : F1

Reconhecimento dos segmentos f1 f2 f3 f4 f5 f6 f7 Visualização Resultado final Modelo F1 F5 F7 F2 F6 F4 F3 f1 : F4 f2 : F3 f3 :  f4 :  f5 : F6 f6 : F7 f7 : F1 ou F7 F1 F6 F2 F3 F4 F5 Modelo f1 : F2 f2 : F3 f3 :  f4 :  f5 : F6 f6 : F5 f7 : F1

Cálculo da transformação projetiva planar Uma transformação projetiva planar H (homografia) correspondente às linhas reconhecidas é encontrada (usando pontos de interseção e pontos de fuga como pontos de referência). pontos de interseção pontos de fuga H  Modelo reconstruído