Pesquisa em imagens combinando informação visual e informação textual.

Apresentação em tema: "Pesquisa em imagens combinando informação visual e informação textual."— Transcrição da apresentação:

1 Pesquisa em imagens combinando informação visual e informação textual

2 Introdução O aumento de quantidade de informação visual utilizada criou a necessidade de novos métodos nas áreas de pesquisa e recuperação de imagens, menos dependentes da intervenção humana.

3 O problema da interpretação de conteúdos Na recuperação automática de imagens está sempre presente o problema do semantic gap. Como remediar este problema?

4 Algumas propostas anteriores Utilização de Latent Semantic Indexing (LSI) com anglogramas (Zhao e Grosky). Associação de emoções a imagens (Colombo et al). Construção de estruturas de conhecimento (Barnard et al, Benitez e Chang).

5 A proposta para um protótipo de recuperação de imagens Baseado no LSI. Com os objectivos de: Comparar os resultados obtidos com e sem utilização de características de baixo nível; Verificar a prestação do LSI quando é utilizado com um conjunto de dados desfavorável; Testar a eficácia de cada uma das características de baixo nível do MPEG-7.

6 Funcionamento do protótipo Na fase de indexação é criada uma matriz de termos por documentos e é realizado o LSI sobre essa matriz. Quando é colocada uma interrogação a matriz é utilizada como num modelo vectorial comum.

7 Criação da matriz de indexação

8 O MPEG-7 Foi criado com o objectivo de promover a integração de anotações provenientes de fontes de dados diversas num único conjunto de estruturas de anotação e facilitar a pesquisa e recuperação eficientes de informação através da utilização destas estruturas.

9 Características de imagem do módulo XM O eXperimentation Model é a plataforma de testes dos descritores do MPEG-7. As suas características são classificadas como sendo relativas à cor ou à textura, mas algumas fornecem também informação espacial.

10 Características de imagem utilizadas Scalable Color Descriptor (SCD) Color Structure Descriptor (CSD) Color Layout Descriptor (CLD) Homogeneous Texture Descriptor (HTD) Edge Histogram Descriptor (EHD)

11 Ex-votos Definição: Um objecto, quase sempre de índole piedosa, que se oferece a Deus ou a um Santo, em cumprimento de um voto.

12 Ex-votos Não têm um estilo distinto. Muitas vezes um mesmo santo é representado em diferentes ex-votos com postura e simbologia semelhante.

13 Dados de teste Pinturas votivas (e as descrições nelas inscritas) retiradas do livro Do Gesto à Memória. Segundo este livro, na maioria dos casos, os ex-votos escolhidos são constituídos por dois elementos: a representação do suposto milagre e a representação da entidade à qual o agradecimento é destinado.

14 Conclusões O protótipo concebido a partir desta proposta produziu bons resultados com a utilização de texto e de características da imagem em simultâneo, melhorando os resultados obtidos, quer com a utilização de comparação vectorial, quer com a utilização do LSI apenas com texto, para uma grande gama de documentos recuperados.

15 Conclusões Na comparação dos desempenhos individuais dos cinco descritores do módulo XM do MPEG-7 usados, o Edge Histogram Descriptor obteve os melhores resultados.

16 Experiências futuras Utilizar segmentação. Utilizar query relevance feedback. Utilizar outras métricas de distância entre vectores que não o coseno.

17 Experiências futuras Verificar os resultados do protótipo com um conjunto de dados em que cor e textura sejam um factor de distinção das imagens mais relevante. Utilizar como dados de teste documentos que conjuguem anotações textuais com vídeo.