Recuperação de música baseada em conteúdo { jabca, mpl, mta

Apresentação em tema: "Recuperação de música baseada em conteúdo { jabca, mpl, mta"— Transcrição da apresentação:

1 Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br

2 Agenda Introdução Técnicas de Busca Exemplos O que vem por aí... Referências

3 Introdução O que? Sistemas capazes de procurar música através do seu conteúdo, além dos tradicionais meta- dados QBSH: Query by Singing or Humming  Usuário canta / assobia / solfeja um trecho de música para busca

4 Introdução Como? É necessário criar e indexar uma representação simplificada da música, uma “impressão digital” Levando em consideração os aspectos mais marcantes, como contorno melódico, ritmo, andamento, letras e instrumentação

5 Introdução Onde? Query by singing / humming  Vendedores não são perfeitos Auxílio a musicólogos  Encontrar semelhanças e influências entre composições Mecanismos de copyright  Detectar plágio

6 Técnicas de Busca Busca sobre símbolos  Strings (para melodias monofônicas)  Conjuntos  Probabilidade Busca sobre sinal de áudio (waveform)  Audio Fingerprinting  Conjuntos  Mapas auto-organizáveis

7 Técnicas de Busca - Strings Algorítmos de string matching  Exato  Aproximado Indexação

8 Busca sobre sinal de áudio Divide gravação em frames de curta duração (de 25 a 40ms) Características mais comuns:  Loudness  Pitch  Tone (brightness and bandwidth)  Mel-filtered Cepstral Coefficients  Derivatives

9 Técnicas de Busca – Audio Fingerprinting Bom para identificar gravações Extrator de características robusto a ruídos Características não necessariamente reconhecíveis por humanos Poucos bytes por segmento de gravação

10 Comparativo

11 Musipedia / Tuneserver / Melodyhound Grande banco de melodias Múltiplos métodos de entrada Possui busca por rítmo

12 C-Brahms Aceita vários parâmetros Também considera ritmo na busca Permite polifonia

13 Sloud Faz busca por fragmento MIDI Interface mais amigável

14 Shazam Mistérios sobre a implementação Base de 3,5 milhões de músicas Utiliza capacidades do celular

15 Outros SongTapper  http://www.songtapper.com http://www.songtapper.com FindSounds  http://www.findsounds.com http://www.findsounds.com Fraunhofer Institut  http://www.musicline.de/de/melodiesuche/input http://www.musicline.de/de/melodiesuche/input NYU QBH  http://querybyhum.cs.nyu.edu/index.php?p=webdemo http://querybyhum.cs.nyu.edu/index.php?p=webdemo GreenStone  http://www.nzdl.org/fast-cgi-bin/music/musiclibrary http://www.nzdl.org/fast-cgi-bin/music/musiclibrary Meldex  http://www.nzdl.org/fast-cgi-bin/music/musiclibrary http://www.nzdl.org/fast-cgi-bin/music/musiclibrary Oi Estúdio  http://www.oiloja.com.br/wb/POi/POi_baacb83133be6010VgnVCM100000d2021 8acRCRD http://www.oiloja.com.br/wb/POi/POi_baacb83133be6010VgnVCM100000d2021 8acRCRD

16 O que vem por aí...

17 Extra Search Inside the Music (http://research.sun.com/spotlight/2006/2006-06- 28_search_inside_music.html)http://research.sun.com/spotlight/2006/2006-06- 28_search_inside_music.html Google Music Trends (http://www.google.com/trends/music?where=BRA)http://www.google.com/trends/music?where=BRA

18 Referências A Survey of Music Information Retrieval Systems - Rainer Typke, Frans Wiering, Remco C. Veltkamp Multimedia Information Retrieval: MIDI as a format for Content Based Retrieval of Audio, John McDonagh and Alan F. Smeaton http://www.cs.helsinki.fi/group/cbrahms/demoengine/ http://www.musipedia.com http://www.melodyhound.com http://www.sloud.com http://www.shazam.com http://www.music-ir.org/mirex2006/index.php/Main_Page http://research.sun.com/spotlight/2006/2006-06- 28_search_inside_music.html http://blogs.sun.com/plamere http://www.foosic.org/libfooid.php http://mirsystems.info/ http://en.wikipedia.org/wiki/Acoustic_fingerprint