22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)

Apresentação em tema: "22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)"— Transcrição da apresentação:

1 22/4/20151 / Query By Humming

2 Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)

3 QBH | Motivação “Futuras” gerações de Banco de Dados Rádios Emissoras de TV Lojas de Música Uso pessoal

4 Roteiro O que é? Conceitos fundamentais Algoritmos Dificuldades Aplicações Existentes

5 QBH | Definição É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário

6 22/4/20156 / QBH | Conceitos Query “ A query is a monophonic melody sung by a single person.” String “A sequence of notes in a written musical score, or notes transcribed from a sung query.”

7 22/4/20157 / QBH | Conceitos String matchers “ Find the best alignment between string Q and string T by finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.” Pitch “The property of a sound or musical tone measured by its perceived frequency”

8 QBH | Introdução Crescimento da área de recuperação de informação multimídia baseada em conteúdo Pontos Críticos Tipo de interação com informações multimídia Atender às habilidades e preferências dos usuários Metas Organização Facilidade Eficiência

9 QBH| Dificuldades Determinação da freqüência fundamental em um fragmento de áudio –Heurísitco –Maior ou menor grau de acerto Determinar similaridade da melodia –Pitch Incorreto –Transposição –Ritmo

10 QBH| Dificuldades Robustez –Algoritmo mais preciso Performance –Algoritmo eficiente

11 22/4/201511 / QBH| Técnicas Melodic Contour Matching –Seqüência das diferenças relativas no pitch entre notas successivas. –Três relações possíveis de altura em relação a nota anterior(U, D, S) Acima (U) Abaixo (D) Igual (S)

12 22/4/201512 / QBH| Pitch Tracking Auto-Correlação Probabilidade Máxima Análise do Espectro

13 QBH| Dynamic Time Warping Usado para medir similaridades entre seqüências de notas musicais –Não importa se variam em tempo e velocidade; DTW pode ser aplicado em diversas áreas –Vídeo, áudio, reconhecimento de voz, etc.;

14 QBH| Dynamic Time Warping

15 QBH |Algoritmos de Busca String Matching Global alignment algorithm Local alignment algorithm Melodic Contour Matching Hidden Markov Model Forward algorithm

16 QBH |Experimento 3 Sistemas que utilizam diferentes algoritmos de consulta -Local alignment algorithm -Global alignment algorithm -Forward algorithm

17 QBH |Experimento

18

19 Aplicações Existentes Melody Recognition System –Desenvolvido pelo IDMT, Alemanha; –Identifica som de duas formas: Através da voz, Ou tocando algum instrumento. –A aplicação realiza a consulta na base de dados a partir de dois parâmetros: Pela melodia e ritmo da música tocada pelo usuário; –Como resultado, um ranking dos 10 mais similares: Título da música, E nome do artista são devolvidos;

20 Aplicações Existentes Melody Recognition System –O processo de reconhecimento é dividido em 3 partes: O sinal de áudio é armazenado; –Eliminação do ruído do som; As freqüências fundamentais são analisadas; –É determinado um “pitch contour”; –Este é dividido em diversas notas, onde cada uma: »É caracterizada pela sua duração e pitch; A consulta retorna a lista das canções. 22/4/201520 /

21 Aplicações Existentes Melody Recognition System –Características: A aplicação contém uma base de dados com milhares de músicas: –Desde música clássica até pop; O sistema é tolerante com relação à imprecisões: –Na voz do usuário, –E nos ruídos do ambiente; “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”; Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado; 22/4/201521 /

22 Aplicações Existentes Melody Recognition System –O sistema está implementado em 3 diferentes tipos de aplicações: Sistema stand-alone: –Todo processamento está localizado em um único computador; Aplicação Web: –A transmissão da consulta é feita por um Applet Java; –O processamento ocorre em um servidor remoto; –O resultado é mostrado no browser do usuário; 22/4/201522 /

23 Aplicações Existentes Melody Recognition System –Tipos de aplicações: Aplicação Móvel; –Usuário conecta a um servidor remoto pelo celular; –Canta a música e realiza a consulta; –Todo processamento é realizado no servidor; 22/4/201523 /

24 Referências www.cs.cornell.edu/Info/Faculty/bsmith/ query-by- humming.html http://sail.usc.edu/music/research.html#intro http://www.idmt.fraunhofer.de/eng/press_media/download/p roduct_information/qbh_eng_web.pdf

25 22/4/201525 / Query By Humming