Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo

Apresentação em tema: "Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo"— Transcrição da apresentação:

1 Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo
André Guilherme Ribeiro Balan C Grupo de Banco de Dados e Imagens Instituto de Ciências Matemáticas e Computação Universidade de São Paulo

2 Conteúdo Introdução Técnica proposta Experimentos e Resultados
Método de Segmentação Vetor de Características Medida de Similaridade Experimentos e Resultados Conclusões

3 Introdução Motivação para o desenvolvimento de técnicas CBIR:
O aumento contínuo da quantidade de imagens digitais nos hospitais e centros médicos. Objetivo: Desenvolver uma ferramenta que auxilie os especialistas encontrar imagens específicas em grandes repositórios. Principal abordagem: Extrair características que representem o conteúdo da imagem; Comparar as características usando uma medida de similaridade.

4 Introdução Exemplo de consulta:
“encontre as cinco imagens mais semelhantes à imagem identificada por radialcabeca_343.jpg”

5 Introdução Grupos de características:
Brilho/Cor; Forma; Textura. Brilho/Cor são características simples de serem extraídas, mas podem causar ambigüidade. Forma e Textura caracterizam melhor o conteúdo da imagem, mas são mais complexas e custosas de serem extraídas.

6 A técnica proposta Principais elementos em imagens médicas:
órgãos, tecidos, anomalias, plano de fundo, … Neste contexto, nosso trabalho propõe a utilização de textura e forma. Forma e Textura características

7 A técnica proposta Esta abordagem compreende:
A segmentação da imagem baseada em textura. A extração de características simples de forma do objetos obtidos na segmentação. O uso de uma função simples de medida de similaridade.

8 O método de segmentação
Método de segmentação empregado: Método EM/MPM; Principais características do EM/MPM: Baseado em Textura; Automático (não-supervisionado); Utiliza campos aleatórios de Markov (MRF);

9 O método de segmentação
Sobre o EM/MPM: Basicamente: um algoritmo de otimização. Objetivo: “minimizar o número esperado de pixels classificados erroneamente” Sobre o uso de MRFs Permite a representação de texturas de comportamento aleatório (presente na maioria dos tipos de imagens) Demanda uma quantidade relativamente pequena de parametros.

10 EM/MPM – visão geral . . Algoritmo MPM Algoritmo EM Imagem Segmentada
Campo Aleatório de Markov Imagem Segmentada O usuário define o número de classes . 2 1 3 L . 2 1 3 L (1, 21) (3, 23) (L, 2L) Imagem a ser segmentada Um mapa de classificação é criado aleatoriamente Características das classes são definidas Realiza-se uma nova classificação Atualiza-se as características das classes Algoritmo MPM Algoritmo EM

11 Exemplos de segmentação
Classes (5) 1 2 3 4 5 fundo Classes (2) 1 2 fundo

12 O vetor de características
O conjunto de características proposto inclui: Medidas de forma da imagem segmentada; Medidas da imagem original considerando a segmentação. As medidas são obtidas das regiões: Classes (5) 1 2 5 regiões distintas 3 4 5

13 O vetor de características
Para cada região, 5 características são extraídas: Centro de massa (centróide); Massa (tamanho); Medida de dispersão; Média e Variância. Deixe I e S denotar a imagem original e a imagem segmentada, respectivamente.

14 O vetor de características
A massa da região c é: Em outra palavras, massa é o numero de pixels da região c. where

15 O vetor de características
O centro de massa da região c é o par (xoc , yoc) A medida de dispersão mede a compactação da região: oc – centro de massa de c oi,c – centro de massa de uma região isolada i na região c Exemplo de regiões isoladas na região azul

16 O vetor de características
Média e Variância são calculadas sobre a imagem original I considerando a segmentação S média variância

17 O vetor de características
Se a imagem é segmentada em L classes o vetor de características é: Há 6 valores por região/classe (o centróide tem dois valores) O vetor possui 6 x L valores reais. 2L L dL mL yoL xoL . . . 21 1 d1 m1 yo1 xo1 Características da classe com menor média Características da classe com maior média

18 Medida de similaridade
A medida de similaridade entre duas imagens é dada pela Distância Euclidiana entre os vetores de características. Os valores do vetor são normalizados para se obter maior poder de caracterização.

19 Experimentos e Resultados
Bando de imagens reduzido para experimentos: Imagens segmentadas em 5 classes → 30 características por imagem. Categoria de Imagem Número de Imagens Angiograma 21 RM Bacia Axial 33 RM Cabeça Axial 50 RM Abdômen Coronal 34 RM Cabeça Sagital 38 RM Espinha Sagital 44

20 Experimentos e Resultados
Exemplo de consulta utilizando o vetor proposto (30 valores) Imagem de busca: 2865.jpg Miniaturas das 24 imagens recuperadas

21 Experimentos e Resultados
Usando histogramas (256 valores) Imagem de busca: 2865.jpg Miniaturas das 24 imagens recuperadas

22 Experimentos e Resultados
Gráficos Precision x Recall - 5 consultas por curva - as mesmas consultas para ambas as técnicas Técnica proposta Histograma

23 Conclusões Vantagens da técnica proposta Desvantagem
Alto poder de discriminação; Número relativamente pequeno de características; Método automático de segmentação. Desvantagem Alto custo para segmentação Imagens de 300 x 400 pixels levam de 3 a 5 segundos em uma máquina com processador Athlon 2600.