Tópicos Avançados em Processamento de Imagens e Prof. Dr. Kamel Bensebaa Aula 2

Registro de Imagens Registro de imagens é um processo de casamento entre duas imagens, que possuem informações referentes a uma mesma área. A imagem tomada como base de registro é chamada de imagem de referência e a imagem a ser registrada é chamada de imagem de ajuste. O processo de registro de imagens é uma das etapas mais importantes na seqüência de processamentos de imagens de sensoriamento remoto.

Registro de Imagens Na área de sensoriamento remoto, o registro (mosaico ou casamento) de imagens é utilizado como base de várias aplicações, como por exemplo, integração da informação adquirida por diferentes sensores, análise de mudanças, mosaico de imagens, etc. Conjunto de fotografias com superposição, cujas margens são, em geral, aparadas, cortadas, e unidas entre si, visando à formação de uma representação fotográfica contínua, ou seja, formando uma única imagem a partir de várias fotos. Podem ser fotos aéreas, formando uma representação do terreno a partir de várias fotografias adjacentes.

Registro de Imagens

Registro de Imagens Imagem de Referência Imagem do frame

Registro de Imagens Geralmente, o registro é feito manualmente. Neste caso o operador escolhe uma feição pontual, visualmente interessante, em uma imagem e tenta encontrar a mesma feição correspondente na outra imagem. Este par de pontos é chamado de pontos de controle. Com a indicação de vários pontos de controle nas imagens, consegue-se modelar a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste. Esta tarefa é bastante lenta, árdua e sujeita a erros, justamente porque possui o fator humano, que muitas vezes não tem experiência suficiente para realizá-la.

Registro de Imagens Existem três métodos de realizar o registro de imagens Manual semi-automático Automático

Registro Manual Geralmente, o registro é feito manualmente. Neste caso o operador escolhe uma feição pontual, visualmente interessante, em uma imagem e tenta encontrar a mesma feição correspondente na outra imagem. Este par de pontos é chamado de pontos de controle. Com a indicação de vários pontos de controle nas imagens, consegue-se modelar a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste. Esta tarefa é bastante lenta, árdua e sujeita a erros, justamente porque possui o fator humano, que muitas vezes não tem experiência suficiente para realizar-la.

Registro semi-automático Com o aumento da utilização das imagens digitais (em várias aplicações de sensoriamento remoto, imagens medicas, imagens aéreas) e a grande quantidade de dados provenientes de diferentes sensores, o desenvolvimento de métodos de registro mais rápidos e com boa precisão tem sido necessário. Um sistema de registro interessante seria aquele que fornecesse um conjunto de ferramentas necessárias para realizar o processo de registro de forma mais rápida e com boa precisão. Um sistema deste tipo pode ser chamado de sistema de registro semi-automático, pois existe a interação do especialista com o processo de registro.

Registro automático Os métodos automáticos existentes atualmente são desenvolvidos para tipos específicos de imagens e podem retornar resultados errados ou imprecisos quando utilizados com dados não apropriados. A interação do usuário, mesmo mínima, pode guiar o algoritmo a fazer um registro de qualidade. Por exemplo, o especialista pode informar ao sistema qual o tipo de imagens que estão sendo usadas (radar, sensor óptico, imagens aéreas, etc.), se as imagens contém objetos com contornos fechados bem definidos, e assim por diante.

TÉCNICAS DE REGISTRO DE IMAGENS Registro de imagens é um processo de casamento de duas imagens, que possuem uma área em comum, de forma que os pontos com coordenadas correspondentes nas duas imagens correspondem à mesma região física. O processo de registro pode ser realizado, basicamente, em três etapas: Obtenção de pontos de controle; Determinação da função de transformação; Sobreposição das imagens;

TÉCNICAS DE REGISTRO DE IMAGENS O processo de obtenção de pontos de controle inclui duas etapas (1) a extração de feições (cantos, linhas, contornos) e (2) o casamento das feições extraídas. Obtido os pontos de controle, a transformação espacial que modela as distorções entre as imagens é calculada e o registro é realizado através de um método de interpolação A função de transformação é calculada usando o conjunto de pontos de controle obtidos na fase anterior.

Métodos de registro de imagens Os métodos de registro podem ser classificados em duas categorias: Registro Imagem - Imagem (matriz de pontos); Registro Imagem - Mapa (imagens vetoriais). No registro Imagem-Mapa, a imagem é colocada dentro de um sistema de coordenadas planas de um certo sistema de projeção cartográfica, tal como o Universal Transverse mercator (UTM) ou o Polar Stereographic (OS). Neste caso dizemos que a imagem está geo-referenciada ou geo-codificada.

Registro automático Os algoritmos de registro baseiam-se em um dos seguintes métodos: 1) Baseado em área; 2) Baseado em feições; 3) Baseado em contornos;

Registro automático O primeiro método não é adequado para registro Imagem-Mapa. Neste caso, o mais indicado é o método baseado em feições definido posteriormente. Vários métodos em uma fase inicial de processamento, necessitam de um registro grosseiro que consiste em estimar os parâmetros de rotação e translação de forma grosseira: com erro de vários pixels. O registro grosseiro pode ser realizado de maneira automática ou manual. O usuário pode escolher manualmente 2 ou 3 pontos de controle que serão usados para estimar a rotação e translação. A rotação entre duas imagens pode também ser estimada usando o método de estimação da direção de iluminação ou determinando a rotação entre contornos presentes nas imagens.

Registro Baseado em Área Este método proporciona um registro de boa precisão, porém é lento e deve ser usado somente em casos em que as imagens a serem registradas sejam geometricamente e radiometricamente semelhantes. Uma pequena janela Sij na imagem de referência é estatisticamente comparada com várias janelas Wz do mesmo tamanho na imagem de ajuste. Assim, a janela Wz mais parecida com Sij define um ponto em comum nas duas imagens. Consideremos que as janelas possuem K linhas e L colunas.

Registro Baseado em Área Imagem de referência Imagem de ajuste

Registro Baseado em Área Para comparar as janelas são utilizados métodos estatísticos como a Correlação cruzada normalizada, Coeficiente de correlação, Detecção de similaridade seqüencial, etc. Estes métodos são chamados de medidas ou critérios de similaridade. O método de Correlação Cruzada Normalizada é definido por: Sij – Janela da imagem de referência; Wz – Janela da imagem de ajuste;

Registro Baseado em Área As janelas mais parecidas possuem o máximo valor R(i, j) O método Coeficiente de correlação retorna o valor em escala absoluta normalizado entre [-1, 1] : Onde: μw - média da janela Wz μs - média da janela Ws

Registro Baseado em Área Os dois métodos apresentados acima requerem um tempo de processamento grande. Uma alternativa menos custosa computacionalmente é o algoritmo de Detecção de similaridade seqüencial: A medida de similaridade E(i, j) é acumulada para valores de pixels da janela até um certo limite, que pode ser estabelecido dependendo da qualidade e velocidade do teste. O número de pixels revisados é guardado como taxa do teste, e a janela com a maior taxa é considerada a melhor Aplicando o algoritmo de Correlação Cruzada Normalizada para a janela indicada na Figura 2.2 podemos construir o mapa de similaridade, apresentado na Figura 2.4 (b),com as janelas tomadas na imagem da Figura 2.4 (a).

Registro Baseado em Área Aplicando o algoritmo de Correlação Cruzada Normalizada para a janela indicada na Figura abaixo podemos construir o mapa de similaridade, apresentado na Figura (b),com as janelas tomadas na imagem da Figura (a).

Registro Baseado em Área No mapa de similaridade, as áreas brancas indicam as áreas em que as janelas apresentam a maior similaridade. Dentro da área branca pode ser visto um ponto preto, indicado com uma seta, é um ponto mais claro escurecido para melhor visualização e é o ponto mais similar ao ponto indicado na Figura da imagem de referência, no canto superior esquerdo da janela.

Registro Baseado em Área Sobrepondo as imagens podemos ver o resultado do mosaico

Registro Baseado em Feições Em situações em que a resolução e/ou a informação espectral das imagens a serem registradas é diferente ou as imagens são obtidas por diferentes sensores, o método de registro baseado em feições é o mais adequado. Por definição, feições são objetos na imagem que são visualmente interessantes, destacáveis, tais como pontos salientes em bordas, regiões, linhas, extremidades, curvaturas, etc.

Registro Baseado em Feições Feições de pontos ou feições pontuais são extraídas de maneira mais fácil mas não são adequadas para serem utilizadas para registrar imagens obtidas por diferentes tipos de sensores. Um ponto identificado em uma cena óptica não necessariamente terá um conjugado em uma imagem SAR ou em um banco de dados vetorial. Feições de linhas, especialmente interseções, podem ser encontradas, de forma mais fácil, em dados diferentes. Em sistemas de registro, em que um registro grosseiro é realizado em uma etapa inicial, feições de linhas podem ser usadas para refinar o registro final. Feições do tipo polígonos podem ser utilizadas para realizar um registro inicial automático.

Registro Baseado em Feições As curvaturas das linhas ou das bordas dos objetos podem ser chamados de feições de curvaturas. As feições de curvaturas são mais confiáveis que extremidades ou gradientes porque são independentes das mínimas variações de rotação e escala. Para cada feição pode-se extrair um conjunto de parâmetros. Por exemplo, o polígono pode ser caracterizado por atributos de tamanho, forma, área, centróide, etc. Um algoritmo simples pode utilizar um dos atributos para realizar o casamento das feições encontradas, assim como os algoritmos baseados em múltiplas feições utilizam vários atributos ao mesmo tempo.

Registro Baseado em Feições Pode-se usar regiões (polígonos) no processo de registro devido à qualidade e à quantidade de atributos extraídos. O problema é que este tipo de feição não é facilmente encontrada em todos os tipos de dados. Exemplos de feições do tipo polígonos seriam corpos de água, florestas, plantações de culturas agrícolas. Após o processo de extração, as feições que são identificadas nas duas imagens são relacionadas de tal forma que haja correspondência entre elas. Este processo é chamado de casamento de feições. As feições casadas determinam os pontos de controle. No caso de polígonos, os seus centróides são tomados como pontos de controle.

Mapeamento de Imagens As imagens a serem registradas podem ser relacionadas através de funções de transformação simples se a geometria das imagens é semelhante. Neste caso, transformações como translação, rotação e escala podem ser utilizadas.

Mapeamento de Imagens Sejam g e G as imagens de ajuste e de referência, respectivamente. As imagens são relacionadas pela transformação de distorção geométrica T: g=G°T. Então, tem-se que: onde

Mapeamento de Imagens As transformações mais simples são: Translação Rotação, escala e translação Onde: r, Θ, dx e dy são parâmetros de escala, rotação e de translação,

Mapeamento de Imagens Se a geometria das imagens é diferente, as transformações podem ser aproximadas utilizando uma função polinomial cujos parâmetros são determinados a partir das coordenadas dos pontos de controle. O desempenho deste modelo depende de uma boa distribuição dos pontos de controle, da precisão das coordenadas dos pontos de controle e, o mais importante, da adequação da função polinomial escolhida ao que se pretende modelar.

Mapeamento de Imagens Polinômio de primeiro grau: O polinômio de primeiro grau também é chamado de função Afim que é a função mais utilizada para registro de imagens. Para facilitar a utilização usa-se a seguinte representação matricial:

Mapeamento de Imagens Uma vez determinados os n pontos de controle, um sistema de 2n equações é montado para determinar 6 ou 12 parâmetros, dependendo do polinômio ser de 1° ou 2° grau. O número mínimo de pontos de controle representa a situação de um sistema de equações determinado. Entretanto, como as coordenadas medidas dos pontos de controle estão sujeitas a erros, convém usar um número de pontos maior que o número mínimo, o que define um sistema de equações sobre-determinado. O sistema tem mais equações que incógnitas e permite tratar os erros de medição dos pontos de controle. Uma vez definido o tipo de distorção existente entre as imagens, os parâmetros da transformação podem ser estimados através do conjunto de pontos de controle.

Mosaico de Imagens Mosaico de imagens é um produto gerado a partir de técnicas de registro de imagens. Um mosaico de imagens consiste em uma composição de imagens adquiridas de diferentes pontos de vista para construir uma imagem maior, dando uma visão global da cena. O processo de geração de mosaico de imagens é um problema complexo, pois envolve um conjunto de procedimentos. Inicialmente o registro da imagem de referência com a imagem de ajuste é obtido e em seqüência uma imagem de combinação das duas é gerada. Assim, pode-se combinar sucessivamente outras imagens até que seja obtida uma imagem que cubra a área de interesse.

EXTRAÇÃO DE PONTOS DE CONTROLE A fase mais crítica do processo de registro é a determinação dos pontos de controle Os pontos de controle são usados para estimar a transformação que será utilizada no processo de mapeamento. Se o modelo de mapeamento escolhido é adequado, a precisão de registro é garantida pela identificação correta dos pontos de controle. O processo de identificação dos pontos de controle, normalmente, é realizado em dois passos: (1) extração de feições e (2) casamento das feições extraídas no passo anterior.

Extração de Feições Existem vários métodos de extração destas feições. Normalmente para extração de cada tipo de feição e cada tipo de dado existe um algoritmo mais adequado. Para extração de feições de polígonos podem ser utilizados métodos de segmentação e diferentes métodos de segmentação podem extrair as mesmas feições de dados diferentes. Para imagens radiometricamente parecidas as feições pontuais são bastante eficientes.

Extração de feições utilizando o processo de segmentação As feições podem ser extraídas utilizando técnicas de segmentação que podem ser divididas em três grupos: (1) crescimento de regiões, (2) detecção de bordas e (3) combinação das duas anteriores. A técnica de crescimento de regiões particiona a imagem em regiões homogêneas e as rotula. A técnica de detecção de bordas identifica as fronteiras entre regiões homogêneas e gera um mapa de bordas. Existem muitos algoritmos de segmentação mas, geralmente, cada um é mais adequado para um determinado tipo de dados.

Refinamento dos Pontos de Controle Utilizando sua Geometria Após o processo de casamento das feições ainda podem permanecer alguns pontos casados errados. Para superar este problema e eliminar os pontos casados errados um procedimento baseado na geometria dos pontos de controle deve ser utilizado. Existem vários algoritmos para este procedimento, um deles e o algoritmo de RANSAC.