Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouWilliam Pestana Alterado mais de 9 anos atrás
1
Apresentação do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION, SPEECH AND SIGNAL PROCESSING UNIVERSITY OF SURREY, GUILDFORD, SURREY, UK
2
Introdução Geralmente as bibliotecas de imagens são indexadas utilizando palavras chaves de conteúdo (tags): As tags não são suficientes para descrever uma forma mais complexa; QVE – Querying databases by Visual Example: Requer uma imagem realística, que pode estar indisponível; SBIR – Sketch Based Image Retrieval - Esboços; Imagens adaptadas de: Eitz, M.; Hildebrand, K.; Boubekeur, T.; Alexa, M., "Sketch-Based Image Retrieval: Benchmark and Bag-of- Features Descriptors," Visualization and Computer Graphics, IEEE Transactions, vol.17, no.11, pp.1624,1636, Nov. 2011
3
SBIR – Sketch Based Image Retrieval
4
Bag of Visual Words Utilizam um dicionário de palavras visuais para discriminar features (descritores) de uma imagem; Ambas as imagens (query e database) são descritas utilizando um histograma de frequência de palavras visuais nelas presentes; Para realizar a recuperação o histograma da query é comparado com os da base de dados; Problemas do Sketch: Não é rico em detalhes, tornando o descritor pouco discriminativo; Diferentes escalas e localizações e deformações na forma do objeto; O BoW carece de informações espaciais dos descritores; É eficiente para imagens que é rica em detalhes e as relações espaciais são menos importantes;
5
Proposta dos Autores Utilizar um novo descritor por eles proposto para a tarefa de recuperação de imagens de uma base de dados a partir de esboços; Gradient Field Descriptor; O novo descritor é uma adaptação do HOG que supre a falta de informação espacial das palavras visuais do BoW; A adaptação feita pelos autores apresentou melhorias significantes em relação a outros descritores como SIFT e HOG padrão; Também é demonstrado como o método é capaz de localizar o objeto desejado na imagem;
6
Pré-Processamento Primeiramente as imagens da base de dados são transformadas em um mapa de arestas utilizando o método Canny Edge Detector; Resultado: M(x, y) = {0, 1} Para os esboços é apenas detectado os contornos; Fonte: http://www.cs.umd.edu/~yluo1/Projects/canny.htmlhttp://www.cs.umd.edu/~yluo1/Projects/canny.html
7
Gradient Field
8
Multi Scale Histogram of Gradient Relembrando o HOG: O descritor é computado para uma janela w centrada em um ponto de interesse; A janela é dividida em n x n grids e um histograma de frequências é calculado para cada grid; Os histogramas são divididos em q bins; Os histogramas são concatenados e normalizados, formando o descritor; A partir do campo de gradientes é calculado um conjunto de descritores, de forma similar ao HOG, para cada ponto da aresta, ou seja, M(x, y) = 1. Para tanto é estabelecido um grid de n x n O artigo proposto utiliza os seguintes parâmetros para o cálculo: n = [5, 10, 15] w = 3 q = 9 Ao contrário de abordagens multi- escala, onde os descritores são concatenados para formar uma única feature, os autores consideram cada escala de descritor de forma independente.
9
Sketch Based Retrieval Os descritores de todas as imagens são clusterizados para formar um codebooks de palavras visuais, utilizando o k-means; Um histograma H I é calculado para cada imagem; Para cada query é calculado um histograma H S. As imagens são ordenadas de acordo com a similaridade entre os dois histogramas.
10
Object Localization Estimação da localização do esboço na imagem recuperada; Aplicação do RANSAC para “encaixar” o esboço à imagem, por meio de uma transformação rígida; Linear Conformal Affine Transform (LCAT): Uniform Scale, Rotation e Translation; Primeiramente é realizado uma correspondência putativa entre os descritores das duas imagens, resultando nos conjuntos abaixo: Depois, randomicamente, são amostrados pares de correspondência calculando o LCAT:
11
Experimentos
13
Conclusão dos Autores Os autores demonstraram a viabilidade da utilização do descritor proposto para a tarefa de recuperação de imagens a partir de um esboço; Por meio de experimentos, foi constatado a superioridade, em termos de acurácia, em relação aos seguintes descritores: HOG SIFT SSIM Como trabalho futuro é sugerido a utilização de sketchs coloridos;
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.