SISTEMA SEMI-AUTOMÁTICO DE REGISTRO E MOSAICO DE IMAGENS Dmitry Fedorov Dr. Leila M. G. Fonseca INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.

Sistema de registro

Sistema de registro Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg) Foi enfatizada a utilização em plataformas diferentes Três métodos de registro automático foram implementados: método baseado em optical flow e geometria método baseado na transformação wavelet método baseado em contornos

Método padrão O método baseado em optical flow e geometria É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

Método baseado em wavelets O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle Apresenta melhor precisão e eficiência de registro do que o método padrão

O método baseado em contornos Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

Interface gráfica do sistema Três passos lógicos: 1) Dados e pre-processamento 2) Busca de pontos de controle 3) Geração da imagem resultante Controle das janelas

Interface gráfica do sistema Busca de pontos de controle Identificação de pontos (auto, semi-auto, manual) 2) Transformação (translação, RST, afim, etc.) 3) Identificar pontos!

Interface gráfica do sistema Geração da imagem resultante Imagem resultado (mosaico, registro separado) 2) Sobreposição (normal, interlaçado, blended) 3) Interpolação (vizinho mais próximo, Bilinear) 4) Equalização

Ferramentas do sistema Pre-processamento: Modificar resolução, escolher a banda, realçar... Edição de pontos de controle: Remover, gravar ou carregar, mostrar nas imagens...

Ferramentas do sistema Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

Testes do sistema Testes exaustivos foram executados com imagens: Radar Multi-sensores Alta resolução Seqüências de vídeo O sistema foi testado operacionalmente por vários pesquisadores em: Instituto Nacional de Pesquisas Espaciais Universidade da Califórnia, Santa Barbara Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

Comparação entre os métodos padrão e wavelets: Testes do sistema Comparação entre os métodos padrão e wavelets: Imagens Método wavelets Método padrão Radar, JERS-1 (10/10/95) + (08/13/96) Amazônia, floresta (512*512)(512*512) Tempo: 3185ms C.P.: 53 RMSE: 0.7648 Tempo: 6099ms C.P.: 6 (de 300) RMSE: 1.0000 SPOT band 3 + TM band 4 (08/08/95) + (06/07/94) Cidade Brasília Tempo: 3325ms C.P.: 29 RMSE: 0.8710 Tempo: 5889ms RMSE: 1.8257 TM band 5 (06/07/92) + (07/15/94) Tempo: 3104ms C.P.: 188 RMSE: 0.5359 Tempo: 2914ms C.P.: 4 (de 128) RMSE: 0.7071

Comparação entre os métodos padrão e contornos: Testes do sistema Comparação entre os métodos padrão e contornos: Imagens Método contornos Método padrão Landsat, composição 3,4,5 Litoral (1390*1500)(1200*1650) Tempo: 2604ms C.P.: 3 RMSE: 0.8165 Tempo: 6008ms C.P.: 5 (de 128) RMSE: 1.3416 Fotos aéreas Área urbana, Bay area, Califórnia (1283*2352)(1547*2284) Tempo: 4566ms C.P.: 32 RMSE: 1.4790 Tempo: 9183ms C.P.: 22 (de 128) RMSE: 2.0226 Fotos aéreas coloridas Área urbana, Santa barbara, Califórnia (306*386)(335*472) Tempo: 521ms C.P.: 6 RMSE: 0.4082 Tempo: 1392ms C.P.: 21 (de 128) RMSE: 1.2536

Imagens de florestas Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

Imagens de Radar Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

Mosaico de 4 imagens CBERS-IRMMS de datas diferentes Imagens do CBERS Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

Imagens Landsat Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

Detalhe do registro Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

Imagens do LANDSAT 7 PAN - CBERS CCD Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD R: PAN G,B: CCD 4 Registro automático usando retângulos

Imagens do radar RADARSAT-1, SAR

Mosaicos de seqüências de vídeo seqüência de 100 imagens IR gerado em 20 segundos

Mosaicos de seqüências de vídeo Mosaicos registrados das seqüências de 640x480 pixels 14 visíveis 6 termais

Mosaico de imagens Ikonos _

Método Blending para fotografia digital

Conclusão O sistema foi implementado e testado Existem binários para Windows, Linux, Solaris Sparc Desenvolvida a página WEB do sistema: http://regima.dpi.inpe.br/ Desenvolvida a versão demo para WEB: http://regima.dpi.inpe.br/demo/ http://nayana.ucsb.edu/registration/

Trabalhos futuros Pretende-se continuar o desenvolvimento do sistema: Adicionar suporte de georeferenciamento e estender suporte de GeoTiff para todos os resultados Adicionar técnicas avançadas de equalização e geração de mosaico de imagens Melhorar os métodos automáticos

Agradecimentos Várias instituições participaram no desenvolvimento: Divisão de Processamento de Imagens, INPE Divisão de Sensoriamento Remoto, INPE Vision Lab, Universidade da Califórnia, Santa Barbara China Lake Naval Air Warfare Center, Califórnia O trabalho foi financiado pelas instituições: CAPES SELPER Brasil Office of Naval Research, China Lake Naval Air Warfare Center CalTrans

Demonstração do sistema Regeemy