Para que pode ser útil? Reconhecimento de Sons de Percussão Reconhecimento e classificação do género de uma música Fase de pré-processamento em que é retirada à música a “parte não rítmica” Utilizado em contexto comercial para construir bases de dados musicais Aprendizagem do instrumento Baterista virtual 3D (imagem sintética) que recria movimentos de um musico através da análise de um input áudio captado em tempo real Conversão de um input áudio captado em tempo real em formato midi e consequente extracção de partituras Inês Salselas Reconhecimento de Sons de Percussão

Objectivo Ideia geral Captar sons percussivos de uma bateria, através de um único microfone, em tempo real. “Trabalhar” esse input (desenvolvimento de um algoritmo robusto) Segmentação Extracção de características discriminantes Análise Identificação do componente da bateria tocado Inês Salselas Reconhecimento de Sons de Percussão

PRATOS TIMBALÃO PRATOS DE CHOQUE TIMBALÃO TAROLA BOMBO

Diferentes abordagens Estado da Arte Diferentes abordagens Identificação de uma estrutura rítmica Identificação de instrumentos Consideração de diferentes classes Bombo / tarola Membranas / pratos Pratos / pratos choque / timbalões / tarola / bombo Tempo real Diferentes Características consideradas Diferentes técnicas de classificação utilizadas Inês Salselas Reconhecimento de Sons de Percussão

Estado da Arte Comparação do conteúdo (frequência) do input com bibliotecas existentes Log. Spectrogram calculation Fitting Musical signal Onset detector Results Log. Spectrogram calculation Trainig drum samples Inês Salselas Reconhecimento de Sons de Percussão

Análise, Classificação e Processamento de Áudio Frameworks Análise, Classificação e Processamento de Áudio CLAM Plataforma (infra-estrutura) de programação para desenvolvimento de aplicações áudio / musica em C++ Disponibiliza uma livraria que funciona como um repositório estruturado de ferramentas (algoritmos) de processamento de sinal digital direccionados para analise e síntese de áudio e musica MARSYAS Arquitectura permite fácil experimentação de algoritmos já implementados Performance rápida, útil em desenvolvimento de ferramentas destinadas a análise de audio em tempo real Inês Salselas Reconhecimento de Sons de Percussão

lado, como caracterizar um sinal antes de ter sido segmentado? Questões Segmentação “What is when?” O que perguntar primeiro? Como segmentar um sinal antes de ter sido caracterizado, ou por outro lado, como caracterizar um sinal antes de ter sido segmentado? TICK – menor impulso métrico – corresponde ao tempo de ataque Selecção de características relevantes (redundância/complexidade) ZCR Kurtosis Skewness Centroid Relative energy MFCC’s Selecção de métodos de classificação Optimização das características seleccionadas Tempo real Inês Salselas Reconhecimento de Sons de Percussão