22/4/20151 / Query By Humming

Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)

QBH | Motivação “Futuras” gerações de Banco de Dados Rádios Emissoras de TV Lojas de Música Uso pessoal

Roteiro O que é? Conceitos fundamentais Algoritmos Dificuldades Aplicações Existentes

QBH | Definição É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário

22/4/20156 / QBH | Conceitos Query “ A query is a monophonic melody sung by a single person.” String “A sequence of notes in a written musical score, or notes transcribed from a sung query.”

22/4/20157 / QBH | Conceitos String matchers “ Find the best alignment between string Q and string T by finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.” Pitch “The property of a sound or musical tone measured by its perceived frequency”

QBH | Introdução Crescimento da área de recuperação de informação multimídia baseada em conteúdo Pontos Críticos Tipo de interação com informações multimídia Atender às habilidades e preferências dos usuários Metas Organização Facilidade Eficiência

QBH| Dificuldades Determinação da freqüência fundamental em um fragmento de áudio –Heurísitco –Maior ou menor grau de acerto Determinar similaridade da melodia –Pitch Incorreto –Transposição –Ritmo

QBH| Dificuldades Robustez –Algoritmo mais preciso Performance –Algoritmo eficiente

22/4/ / QBH| Técnicas Melodic Contour Matching –Seqüência das diferenças relativas no pitch entre notas successivas. –Três relações possíveis de altura em relação a nota anterior(U, D, S) Acima (U) Abaixo (D) Igual (S)

22/4/ / QBH| Pitch Tracking Auto-Correlação Probabilidade Máxima Análise do Espectro

QBH| Dynamic Time Warping Usado para medir similaridades entre seqüências de notas musicais –Não importa se variam em tempo e velocidade; DTW pode ser aplicado em diversas áreas –Vídeo, áudio, reconhecimento de voz, etc.;

QBH| Dynamic Time Warping

QBH |Algoritmos de Busca String Matching Global alignment algorithm Local alignment algorithm Melodic Contour Matching Hidden Markov Model Forward algorithm

QBH |Experimento 3 Sistemas que utilizam diferentes algoritmos de consulta -Local alignment algorithm -Global alignment algorithm -Forward algorithm

QBH |Experimento

Aplicações Existentes Melody Recognition System –Desenvolvido pelo IDMT, Alemanha; –Identifica som de duas formas: Através da voz, Ou tocando algum instrumento. –A aplicação realiza a consulta na base de dados a partir de dois parâmetros: Pela melodia e ritmo da música tocada pelo usuário; –Como resultado, um ranking dos 10 mais similares: Título da música, E nome do artista são devolvidos;

Aplicações Existentes Melody Recognition System –O processo de reconhecimento é dividido em 3 partes: O sinal de áudio é armazenado; –Eliminação do ruído do som; As freqüências fundamentais são analisadas; –É determinado um “pitch contour”; –Este é dividido em diversas notas, onde cada uma: »É caracterizada pela sua duração e pitch; A consulta retorna a lista das canções. 22/4/ /

Aplicações Existentes Melody Recognition System –Características: A aplicação contém uma base de dados com milhares de músicas: –Desde música clássica até pop; O sistema é tolerante com relação à imprecisões: –Na voz do usuário, –E nos ruídos do ambiente; “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”; Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado; 22/4/ /

Aplicações Existentes Melody Recognition System –O sistema está implementado em 3 diferentes tipos de aplicações: Sistema stand-alone: –Todo processamento está localizado em um único computador; Aplicação Web: –A transmissão da consulta é feita por um Applet Java; –O processamento ocorre em um servidor remoto; –O resultado é mostrado no browser do usuário; 22/4/ /

Aplicações Existentes Melody Recognition System –Tipos de aplicações: Aplicação Móvel; –Usuário conecta a um servidor remoto pelo celular; –Canta a música e realiza a consulta; –Todo processamento é realizado no servidor; 22/4/ /

Referências query-by- humming.html roduct_information/qbh_eng_web.pdf

22/4/ / Query By Humming