A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Apresentação do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION,

Apresentações semelhantes


Apresentação em tema: "Apresentação do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION,"— Transcrição da apresentação:

1 Apresentação do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION, SPEECH AND SIGNAL PROCESSING UNIVERSITY OF SURREY, GUILDFORD, SURREY, UK

2 Introdução  Geralmente as bibliotecas de imagens são indexadas utilizando palavras chaves de conteúdo (tags):  As tags não são suficientes para descrever uma forma mais complexa;  QVE – Querying databases by Visual Example:  Requer uma imagem realística, que pode estar indisponível;  SBIR – Sketch Based Image Retrieval - Esboços; Imagens adaptadas de: Eitz, M.; Hildebrand, K.; Boubekeur, T.; Alexa, M., "Sketch-Based Image Retrieval: Benchmark and Bag-of- Features Descriptors," Visualization and Computer Graphics, IEEE Transactions, vol.17, no.11, pp.1624,1636, Nov. 2011

3 SBIR – Sketch Based Image Retrieval

4 Bag of Visual Words  Utilizam um dicionário de palavras visuais para discriminar features (descritores) de uma imagem;  Ambas as imagens (query e database) são descritas utilizando um histograma de frequência de palavras visuais nelas presentes;  Para realizar a recuperação o histograma da query é comparado com os da base de dados;  Problemas do Sketch:  Não é rico em detalhes, tornando o descritor pouco discriminativo;  Diferentes escalas e localizações e deformações na forma do objeto;  O BoW carece de informações espaciais dos descritores;  É eficiente para imagens que é rica em detalhes e as relações espaciais são menos importantes;

5 Proposta dos Autores  Utilizar um novo descritor por eles proposto para a tarefa de recuperação de imagens de uma base de dados a partir de esboços;  Gradient Field Descriptor;  O novo descritor é uma adaptação do HOG que supre a falta de informação espacial das palavras visuais do BoW;  A adaptação feita pelos autores apresentou melhorias significantes em relação a outros descritores como SIFT e HOG padrão;  Também é demonstrado como o método é capaz de localizar o objeto desejado na imagem;

6 Pré-Processamento  Primeiramente as imagens da base de dados são transformadas em um mapa de arestas utilizando o método Canny Edge Detector;  Resultado: M(x, y) = {0, 1}  Para os esboços é apenas detectado os contornos; Fonte: http://www.cs.umd.edu/~yluo1/Projects/canny.htmlhttp://www.cs.umd.edu/~yluo1/Projects/canny.html

7 Gradient Field

8 Multi Scale Histogram of Gradient  Relembrando o HOG:  O descritor é computado para uma janela w centrada em um ponto de interesse;  A janela é dividida em n x n grids e um histograma de frequências é calculado para cada grid;  Os histogramas são divididos em q bins;  Os histogramas são concatenados e normalizados, formando o descritor;  A partir do campo de gradientes é calculado um conjunto de descritores, de forma similar ao HOG, para cada ponto da aresta, ou seja, M(x, y) = 1. Para tanto é estabelecido um grid de n x n  O artigo proposto utiliza os seguintes parâmetros para o cálculo:  n = [5, 10, 15]  w = 3  q = 9  Ao contrário de abordagens multi- escala, onde os descritores são concatenados para formar uma única feature, os autores consideram cada escala de descritor de forma independente.

9 Sketch Based Retrieval  Os descritores de todas as imagens são clusterizados para formar um codebooks de palavras visuais, utilizando o k-means;  Um histograma H I é calculado para cada imagem;  Para cada query é calculado um histograma H S.  As imagens são ordenadas de acordo com a similaridade entre os dois histogramas.

10 Object Localization  Estimação da localização do esboço na imagem recuperada;  Aplicação do RANSAC para “encaixar” o esboço à imagem, por meio de uma transformação rígida;  Linear Conformal Affine Transform (LCAT):  Uniform Scale, Rotation e Translation;  Primeiramente é realizado uma correspondência putativa entre os descritores das duas imagens, resultando nos conjuntos abaixo:  Depois, randomicamente, são amostrados pares de correspondência calculando o LCAT:

11 Experimentos

12

13 Conclusão dos Autores  Os autores demonstraram a viabilidade da utilização do descritor proposto para a tarefa de recuperação de imagens a partir de um esboço;  Por meio de experimentos, foi constatado a superioridade, em termos de acurácia, em relação aos seguintes descritores:  HOG  SIFT  SSIM  Como trabalho futuro é sugerido a utilização de sketchs coloridos;


Carregar ppt "Apresentação do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION,"

Apresentações semelhantes


Anúncios Google