Mel Frequency Cepstral Coefficients for Music Modeling

Apresentação em tema: "Mel Frequency Cepstral Coefficients for Music Modeling"— Transcrição da apresentação:

1 Mel Frequency Cepstral Coefficients for Music Modeling
Autores : Beth Logan Cambridge Research Laboratory ISMIR

2 O que são Mel Frequency Cepstral Coefficients ?
MFCC são geralmente usados como features de sistemas de reconhecimento de fala. Um exemplo seria um sistema de SAC que pode reconhecer automaticamente números falados em um telefone.

3 Introdução Neste trabalho foi examinado com alguns detalhes Mel Frequency Cepstral Coefficients ( MFCCs ), que são features dominantes usadas no reconhecimento da fala. Investigamos a aplicabilidade destas features na modelagem musical. . A composição espectral de um sinal contém muita informação. . São features sensíveis ao ruído.

4 Introdução MFCCs são features de curto prazo, elas são calculadas como segue: 1 – Divide o sinal em Frames. 2 - Para cada Frame, obtém a amplitude do espectro. 3 – Aplica-se logaritmo. 4 – Aplica-se DCT ( Discrete Cosine Transform ) .

5 Introdução Examinamos 2 dos principais pressupostos no processo de formação de MFCC: 1 - A utilização de Mel Frequency scale para modelar o espectro. 2 - Discrete Cosine Transform (DCT ) para “decorrelate” Mel-spectral vectors.

6 MFCC for Speech Recognition
MFCC são as features dominantes utilizadas no reconhecimento da fala. Seu sucesso é devido a capacidade de representar a amplitude do espectro da fala de uma forma compacta.

7 MFCC for Speech Recognition

8 MFCC for Speech Recognition
A escala Mel é baseada em um mapeamento entre a frequência real e o pitch aparentemente percebido do sistema auditivo humano.

9 MFCCs for Music Analysis
Como visto anteriormente o processo de cálculo de MFFCs para fala consiste em 5 etapas: .Dividir o sinal em frames .Obter a amplitude do espectro .Transformar para Logaritimo .Converter para espectro Mel .Aplicar DCT Vamos procurar determinar se este processo é adequado na criação de features para um modelo musical

10 Mel vs Linear Spectral Modeling
Para investigar se é apropriado para determinar o spectrum da música usando a escala mel, usamos um áudio de speech/music simples. Temos disponíveis cerca de 3 horas de dados rotulados de um programa de transmissão de rádio. O programa contém entrevistas, comerciais e uma série de segmentos de músicas.

11 Mel vs Linear Spectral Modeling
Os dados são divididos da seguinte maneira : .2 horas de dados de treino - 10% rotulados como música. . 40 minutos de dados de teste - 14 % rotulados como música.

12 Mel vs Linear Spectral Modeling
Nós convertemos os dados de treinamento para a escala ‘Mel’ e para ‘um Linear Spectral Modeling’. Usando uma versão padrão de algoritmos EM ( Expectation – Maximization ) nos treinamos uma mistura de Classificadores Gaussianos para rotular segmentos de fala/música dos dados de treinamento.

13 Mel vs Linear Spectral Modeling

14 Using the DCT to Approximate the KL Transform
Oque é um Karhumen – Loève ? A KL é uma transformação linear que permite a representação de funções utilizando funções-base formadas pelos “eigenVectors” ( autovetores) da matriz de correlação do sinal. A KL é uma transformação linear que geralmente é realizada para encontrar ‘eigenValues” ( autovalores ) da matriz de covariância.

15 KL Transform A transformação KL converte um vetor u de dimensão m em um vetor v de dimensão n onde : . n <= m e v é “uncorrelated” . Isso é expresso como : v = Ou

16 KL Transform Obs : The speech used is the trainning set for TIMIT( Garofolo et al. 1993) which is a speaker independent, clean speech database ( 3 hours of speech ).

17 Usando DCT Na comunidade de reconhecimento de fala é usado um DCT ( Discrete Cosine Transform ) para aproximar da transformação KL. A transformação é escrita como : c = Du onde c é o coeficiente cepstral de u e D que é n x m matrix of cosine basis.

18 Usando DCT Pelos nossos estudos, observamos que o DCT está próximo do ótimo para a função de “decorrelated” para fala.

19 KL transform for music spectra
Vamos agora examinar a transformação KL para música. A figura a seguir mostra os “eigenValues” e os 15 primeiros “eigenVectors” para uma sequência de Mel Log Spectral vectores coletados de Músicas dos Beatles (289 minutos de música no total).

20 KL transform for music spectra

21 Conclusão Neste paper, procurou-se construir um caso de sucesso na comunidade de reconhecimento de fala pela investigação de como aplicável é, usar features dominantes da fala (spectral features ) para a modelagem de música.

22 Referências Foote, J.T. (1997), Content-based retrieval of music and audio, in ‘SPIE’,pp Garolfo, J.S. Et al. (1993), Darpa timit. acoustic-phonetic continuous speech corpus. Nistir 4930, Technical report, DARPA. Logan, B. T. & Chu, S. (2000), Music summarization using key phrases, in ‘Proceedings IEEE International Conference in Spoken Language Processing’

23 EigenValues and EingenVectors
Vejamos um exemplo de eigenValue e EigenVector: Se vc for perguntado se é um eigenVector correspondente do eigenValue para voce pode descobrir, subistituindo x, e A na equação :