REGISTRO AUTOMÁTICO DE IMAGENS

Apresentação em tema: "REGISTRO AUTOMÁTICO DE IMAGENS"— Transcrição da apresentação:

1 REGISTRO AUTOMÁTICO DE IMAGENS
Dmitry Fedorov Dr. Leila M. G. Fonseca INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.

2 Estudos multi-temporais (Landsat-TM)
Motivação Estudos multi-temporais (Landsat-TM)

3 Estudos multi-temporais (Imagens aéreas)
Motivação Estudos multi-temporais (Imagens aéreas)

4 Criação de imagens estéreo (LYNX-SAR)
Motivação Criação de imagens estéreo (LYNX-SAR)

5 Ampliação da área imageada (seqüência de fotos aéreas)
Motivação Ampliação da área imageada (seqüência de fotos aéreas)

6 Fases de registro Registro pode ser realizado nas seguintes etapas:
Obtenção de pontos de controle Determinação da função de transformação Interpolação

7 Como registro é feito? Geralmente, o registro é feito manualmente
pontos de controle Através de vários pontos de controle modela-se a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste

8 Obtenção de Pontos de controle
Obtenção de pontos de controle inclui duas etapas: Extração de feições (pontos, cantos, linhas, contornos): Segmentação, transformada Wavelet, Optical Flow...

9 Obtenção de Pontos de controle
2. Casamento das feições extraídas Métodos de correlação, função de custo, códigos em cadeia, geometria...

10 Obtenção de Pontos de controle
Métodos de correlação Wz Sij comparar janela Sij com janelas Wz

11 Obtenção de Pontos de controle
Correlação Cruzada Normalizada: janelas mais parecidas tem R(i,j) máximo Coeficiente de correlação C(i,j) em escala absoluta [-1, 1] Detecção de similaridade seqüencial Sij – Janela da imagem de referência; Wz – Janela da imagem de ajuste w - média da janela W; s - média da janela W.

12 Obtenção de Pontos de controle
Métodos de correlação

13 Obtenção de Pontos de controle

14 Obtenção de Pontos de controle
Extração de Feições usando LoG

15 Obtenção de Pontos de controle
Casamento de feições usando códigos em cadeia Números representam ângulos, Unidade representa um ângulo de 45°, Ex: 3 -> próximo pixel esta a nordeste (135°). C1: C2: Comparar por correlação

16 Obtenção de Pontos de controle
Extração de feições usando segmentação

17 Obtenção de Pontos de controle
Extração de feições usando segmentação ai – Área da região i (polígono); pi – Extensão do perímetro da região i; ri e ci - Largura e comprimento do retângulo delimitante da região i.

18 Função de transformação
A transformação espacial que modela a distorção entre as imagens é calculada através do conjunto de pontos de controle T A transformação mais utilizada é a Afim: Maneira tradicional para estimar os parâmetros da transformação é através da solução de mínimos quadrados

19 Função de transformação
Translação:

20 Função de transformação
Rotação, escala e translação:

21 Função de transformação
Afim:

22 Função de transformação
Perspective:

23 Problemas de registro de imagens
Grande número de métodos automáticos são desenvolvidos por causa do aumento da geração e utilização das imagens Um único método não funciona adequadamente para diferentes tipos de dados Sem interferência do especialista os métodos automáticos apresentam dificuldades na geração de resultados corretos e confiáveis

24 Sistema de registro

25 Sistema de registro Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg) Foi enfatizada a utilização em plataformas diferentes Três métodos de registro automático foram implementados: método baseado em optical flow e geometria método baseado na transformação wavelet método baseado em contornos

26 Método padrão O método baseado em optical flow e geometria
É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

27 Método baseado em wavelets
O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle Apresenta melhor precisão e eficiência de registro do que o método padrão

28 O método baseado em contornos
Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

29 O mapeamento de NCs é realizada usando interpolação:
O resultado pode ser: mosaico de imagens imagem registrada O mapeamento de NCs é realizada usando interpolação: bilinear vizinho mais próximo

30 Interface gráfica do sistema
Três passos lógicos: 1) Dados e pre-processamento 2) Busca de pontos de controle 3) Geração da imagem resultante Controle das janelas

31 Interface gráfica do sistema Busca de pontos de controle
Identificação de pontos (auto, semi-auto, manual) 2) Transformação (translação, RST, afim, etc.) 3) Identificar pontos!

32 Interface gráfica do sistema Geração da imagem resultante
Imagem resultado (mosaico, registro separado) 2) Sobreposição (normal, interlaçado, blended) 3) Interpolação (vizinho mais próximo, Bilinear) 4) Equalização

33 Ferramentas do sistema
Pre-processamento: Modificar resolução, escolher a banda, realçar... Edição de pontos de controle: Remover, gravar ou carregar, mostrar nas imagens...

34 Ferramentas do sistema
Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

35 Testes do sistema Testes exaustivos foram executados com imagens:
Radar Multi-sensores Alta resolução Seqüências de vídeo O sistema foi testado operacionalmente por vários pesquisadores em: Instituto Nacional de Pesquisas Espaciais Universidade da Califórnia, Santa Barbara Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

36 Comparação entre os métodos padrão e wavelets:
Testes do sistema Comparação entre os métodos padrão e wavelets: Imagens Método wavelets Método padrão Radar, JERS-1 (10/10/95) + (08/13/96) Amazônia, floresta (512*512)(512*512) Tempo: 3185ms C.P.: 53 RMSE: Tempo: 6099ms C.P.: 6 (de 300) RMSE: SPOT band 3 + TM band 4 (08/08/95) + (06/07/94) Cidade Brasília Tempo: 3325ms C.P.: 29 RMSE: Tempo: 5889ms RMSE: TM band 5 (06/07/92) + (07/15/94) Tempo: 3104ms C.P.: 188 RMSE: Tempo: 2914ms C.P.: 4 (de 128) RMSE:

37 Comparação entre os métodos padrão e contornos:
Testes do sistema Comparação entre os métodos padrão e contornos: Imagens Método contornos Método padrão Landsat, composição 3,4,5 Litoral (1390*1500)(1200*1650) Tempo: 2604ms C.P.: 3 RMSE: Tempo: 6008ms C.P.: 5 (de 128) RMSE: Fotos aéreas Área urbana, Bay area, Califórnia (1283*2352)(1547*2284) Tempo: 4566ms C.P.: 32 RMSE: Tempo: 9183ms C.P.: 22 (de 128) RMSE: Fotos aéreas coloridas Área urbana, Santa barbara, Califórnia (306*386)(335*472) Tempo: 521ms C.P.: 6 RMSE: Tempo: 1392ms C.P.: 21 (de 128) RMSE:

38 Imagens de florestas Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

39 Imagens de Radar Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

40 Mosaico de 4 imagens CBERS-IRMMS de datas diferentes
Imagens do CBERS Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

41 Imagens Landsat Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

42 Detalhe do registro Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

43 Imagens do LANDSAT 7 PAN - CBERS CCD
Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD R: PAN G,B: CCD 4 Registro automático usando retângulos

44 Imagens do radar RADARSAT-1, SAR

45 Mosaicos de seqüências de vídeo
seqüência de 100 imagens IR gerado em 20 segundos

46 Mosaicos de seqüências de vídeo
Mosaicos registrados das seqüências de 640x480 pixels 14 visíveis 6 termais

47 Mosaico de imagens Ikonos
_

48 Método Blending para fotografia digital

49 Conclusão O sistema foi implementado e testado
Existem binários para Windows, Linux, Solaris Sparc Desenvolvida a página WEB do sistema: Desenvolvida a versão demo para WEB:

50 Agradecimentos Várias instituições participaram no desenvolvimento:
Divisão de Processamento de Imagens, INPE Divisão de Sensoriamento Remoto, INPE Vision Lab, Universidade da Califórnia, Santa Barbara China Lake Naval Air Warfare Center, Califórnia O trabalho foi financiado pelas instituições: CAPES SELPER Brasil Office of Naval Research, China Lake Naval Air Warfare Center CalTrans

51 Demonstração do sistema
Regeemy