Para que pode ser útil? Reconhecimento de Sons de Percussão

Apresentação em tema: "Para que pode ser útil? Reconhecimento de Sons de Percussão"— Transcrição da apresentação:

1 Para que pode ser útil? Reconhecimento de Sons de Percussão
Reconhecimento e classificação do género de uma música Fase de pré-processamento em que é retirada à música a “parte não rítmica” Utilizado em contexto comercial para construir bases de dados musicais Aprendizagem do instrumento Baterista virtual 3D (imagem sintética) que recria movimentos de um musico através da análise de um input áudio captado em tempo real Conversão de um input áudio captado em tempo real em formato midi e consequente extracção de partituras Inês Salselas Reconhecimento de Sons de Percussão

2 Objectivo Ideia geral Captar sons percussivos de uma bateria, através de um único microfone, em tempo real. “Trabalhar” esse input (desenvolvimento de um algoritmo robusto) Segmentação Extracção de características discriminantes Análise Identificação do componente da bateria tocado Inês Salselas Reconhecimento de Sons de Percussão

3 PRATOS TIMBALÃO PRATOS DE CHOQUE TIMBALÃO TAROLA BOMBO

4 Diferentes abordagens
Estado da Arte Diferentes abordagens Identificação de uma estrutura rítmica Identificação de instrumentos Consideração de diferentes classes Bombo / tarola Membranas / pratos Pratos / pratos choque / timbalões / tarola / bombo Tempo real Diferentes Características consideradas Diferentes técnicas de classificação utilizadas Inês Salselas Reconhecimento de Sons de Percussão

5 Estado da Arte Comparação do conteúdo (frequência) do input com bibliotecas existentes Log. Spectrogram calculation Fitting Musical signal Onset detector Results Log. Spectrogram calculation Trainig drum samples Inês Salselas Reconhecimento de Sons de Percussão

6 Análise, Classificação e Processamento de Áudio
Frameworks Análise, Classificação e Processamento de Áudio CLAM Plataforma (infra-estrutura) de programação para desenvolvimento de aplicações áudio / musica em C++ Disponibiliza uma livraria que funciona como um repositório estruturado de ferramentas (algoritmos) de processamento de sinal digital direccionados para analise e síntese de áudio e musica MARSYAS Arquitectura permite fácil experimentação de algoritmos já implementados Performance rápida, útil em desenvolvimento de ferramentas destinadas a análise de audio em tempo real Inês Salselas Reconhecimento de Sons de Percussão

7 lado, como caracterizar um sinal antes de ter sido segmentado?
Questões Segmentação “What is when?” O que perguntar primeiro? Como segmentar um sinal antes de ter sido caracterizado, ou por outro lado, como caracterizar um sinal antes de ter sido segmentado? TICK – menor impulso métrico – corresponde ao tempo de ataque Selecção de características relevantes (redundância/complexidade) ZCR Kurtosis Skewness Centroid Relative energy MFCC’s Selecção de métodos de classificação Optimização das características seleccionadas Tempo real Inês Salselas Reconhecimento de Sons de Percussão