Recuperação de música baseada em conteúdo { jabca, mpl, mta

Agenda Introdução Técnicas de Busca Exemplos O que vem por aí... Referências

Introdução O que? Sistemas capazes de procurar música através do seu conteúdo, além dos tradicionais meta- dados QBSH: Query by Singing or Humming  Usuário canta / assobia / solfeja um trecho de música para busca

Introdução Como? É necessário criar e indexar uma representação simplificada da música, uma “impressão digital” Levando em consideração os aspectos mais marcantes, como contorno melódico, ritmo, andamento, letras e instrumentação

Introdução Onde? Query by singing / humming  Vendedores não são perfeitos Auxílio a musicólogos  Encontrar semelhanças e influências entre composições Mecanismos de copyright  Detectar plágio

Técnicas de Busca Busca sobre símbolos  Strings (para melodias monofônicas)  Conjuntos  Probabilidade Busca sobre sinal de áudio (waveform)  Audio Fingerprinting  Conjuntos  Mapas auto-organizáveis

Técnicas de Busca - Strings Algorítmos de string matching  Exato  Aproximado Indexação

Busca sobre sinal de áudio Divide gravação em frames de curta duração (de 25 a 40ms) Características mais comuns:  Loudness  Pitch  Tone (brightness and bandwidth)  Mel-filtered Cepstral Coefficients  Derivatives

Técnicas de Busca – Audio Fingerprinting Bom para identificar gravações Extrator de características robusto a ruídos Características não necessariamente reconhecíveis por humanos Poucos bytes por segmento de gravação

Comparativo

Musipedia / Tuneserver / Melodyhound Grande banco de melodias Múltiplos métodos de entrada Possui busca por rítmo

C-Brahms Aceita vários parâmetros Também considera ritmo na busca Permite polifonia

Sloud Faz busca por fragmento MIDI Interface mais amigável

Shazam Mistérios sobre a implementação Base de 3,5 milhões de músicas Utiliza capacidades do celular

Outros SongTapper  FindSounds  Fraunhofer Institut  NYU QBH  GreenStone  Meldex  Oi Estúdio  8acRCRD 8acRCRD

O que vem por aí...

Extra Search Inside the Music ( 28_search_inside_music.html) 28_search_inside_music.html Google Music Trends (

Referências A Survey of Music Information Retrieval Systems - Rainer Typke, Frans Wiering, Remco C. Veltkamp Multimedia Information Retrieval: MIDI as a format for Content Based Retrieval of Audio, John McDonagh and Alan F. Smeaton _search_inside_music.html