Sistema de Recuperação de Imagens Baseada em Conteúdo Usando Mapas de Kohonen e Técnicas de Correlação Cruzada. T. C. S. Santos André *, P. M. de Azevedo Marques*, J. A. H. Rodrigues* and R. M. Rangayyan**. *Centro de Ciência das Imagens e Física Médica USP / FMRP / Departamento de Clínica Médica, Ribeirão Preto, SP, Brasil. ** University of Calgary/ Department of Electrical& Computer Engineering, Calgary, AB, Canada.

INTRODUÇÃO BASE DE DADOS MÉTODOS RESULTADOS DISCUSSÃO CONCLUSÃO

INTRODUÇÃO: Os primeiros sistemas de recuperação de imagem baseado em conteúdo (RIBC) foram desenvolvidos no início dos anos 80; A maioria das pesquisas nesta área se inspirou no sistema da IBM (“Query By Image Content” - QBIC) como ponto de partida dos seus trabalhos A maioria dos sistemas conhecidos é da área acadêmica; Basicamente todo sistema RIBC usa a suposição de equivalência da imagem e sua representação no espaço de características; Alguns Sistemas RIBC usam técnicas de medidas tais como modelo de vetores. Nestes casos as imagens são representadas como vetores de características em um espaço vetorial n-dimensional; Distância Euclidiana, distância “city-block” ou distância “Mahalanobis” entre tais vetores.

INTRODUÇÃO: Vários sistemas usam métodos que são bem conhecidos no campo de recuperação de textos, ou busca por palavras, que se baseia nos dois princípios a seguir: Uma característica que aparece com frequência numa imagem descreve bem esta imagem; Uma característica que aparece com frequência numa coleção de imagens é um forte indicador para se distinguir uma imagem em relação à outra.

INTRODUÇÃO: Estamos propondo um sistema RIBC baseado em uma rede neural do tipo mapa auto-organizável (MAO) de Kohonen para criar um vetor de características de cada imagem; Estamos usando a técnica da correlação cruzada para estabelecer as semelhanças existentes.

mini MIAS [SUCKLING J., PARKER et. al. (1994)] BASE DE DADOS mini MIAS [SUCKLING J., PARKER et. al. (1994)] 322 imagens de 161 pacientes, mamas esquerda e direita, projeção médio lateral; Resolução espacial - 200 mm de tamanho de pixel; Resolução de contraste – 256 níveis de cinza (8 bits de quantização); Tamanho das imagens - 1024 por 1024 pixels (centralizadas).

PARA MEDIR A PERFORMANCE DO SISTEMA RIBC: Densidade (1 a 4) – de acordo com BIRADS; Tamanho da mama (pequeno, médio ou grande); Lado (mama esquerda ou direita); Forma da mama (arredondada ou periforme).

PARA MEDIR A PERFORMANCE DO SISTEMA RIBC:

PARA MEDIR A PERFORMANCE DO SISTEMA RIBC:

O Mapa Auto Organizável de Kohonen: MÉTODOS O Mapa Auto Organizável de Kohonen:

1601 neurônios na entrada. Vetores de entrada com 1601 posições; MÉTODOS Rede MAO: 1601 neurônios na entrada. Vetores de entrada com 1601 posições; Rede é alimentada com os valores de pixel normalizados de quadros de 51x51 pixels retirados dos mamogramas que possuem 1024x1024 pixels; Treinamento auto organizável, neste só os pesos do neurônio vencedor e de sua vizinhança são alterados. Wi(t+1) = Wi(t) + hci(t)[x(t) - Wi(t)] ; Saída com nove neurônios num arranjo 3x3; Função de vizinhança que diminui com o tempo e com o raio da vizinhança :

A técnica da correlação cruzada: MÉTODOS A técnica da correlação cruzada:

Visão apresentada pelo MAO que seria percebida pelo olho humano: RESULTADOS Visão apresentada pelo MAO que seria percebida pelo olho humano:

Resultado da pesquisa: RESULTADOS Resultado da pesquisa:

Resultado da pesquisa: RESULTADOS Resultado da pesquisa:

Todas Características RESULTADOS Resultado da pesquisa: Todas Características Dens. Forma Tam. Lado Precisão Rev. 0.2088 0.2302 0.3567 0.8038 0.6233 1.0000

DISCUSSÃO A busca através de um sistema RIBC que usa apenas características visuais (análise de textura) é relativamente difícil; O sistema RIBC apresentou resultados ruins, no que diz respeito à densidade; Os resultados das demais característica separadamente são relativamente bons, demonstrando um potencial de aplicação [BOONE J. M. et. al. (2003)]; Os resultados que mostram as imagens menos correlacionadas, são visualmente interessantes; Modificar a fase de treinamento do MAO pode melhorar os resultados; Incluir técnicas adicionais em conjunto com a correlação cruzada (modelamento do disco fibro glandular através da mistura de Gaussianas [FERRARI R. J. et. al. (2004)]); A simulação de um sistema deste tipo, onde a busca é feita apenas nas imagens que possuem a mesma densidade da imagem de pesquisa, e não em toda a base de dados, apresenta acentuada melhora;

RESULTADOS Resultado da pesquisa considerando apenas mamogramas de mesma densidade:

DISCUSSÃO: Necessitamos de uma definição do que seja similaridade entre imagens; Temos que apresentar os resultados da busca a potenciais usuários do sistema RIBC proposto para que estes possam avaliá-lo; Neste projeto caracterizamos os mamogramas usados de acordo com quatro grandezas fornecidas por apenas um radiologista experiente. Isto nos leva a outra questão, qual seja, a variabilidade entre observadores;

CONCLUSÃO: Os resultados obtidos até o momento mostram que novos estudos serão necessários para melhorar a performance do sistema RIBC proposto; Uma linha de pesquisa interessante a seguir diz respeito à classificação automática da densidade dos mamogramas.

À Fapesp pelo apoio financeiro; AGRADECIMENTOS: À Fapesp pelo apoio financeiro; À comissão organizadora do CIBIS por esta oportunidade;