An Efficient Model-Based Multirate Method for Reconstruction of Audio Signals Across Long Gaps Processamento Digital de Sinais de Áudio Alan Dantas de.

Apresentação em tema: "An Efficient Model-Based Multirate Method for Reconstruction of Audio Signals Across Long Gaps Processamento Digital de Sinais de Áudio Alan Dantas de."— Transcrição da apresentação:

1 An Efficient Model-Based Multirate Method for Reconstruction of Audio Signals Across Long Gaps Processamento Digital de Sinais de Áudio Alan Dantas de Medeiros Endalécio Nilson Carvalho Silva Junior Victor Pereira da Costa Vitor Borges Coutinho da Silva

2 Motivação  Problemas:  Erros de transmissão -> perda de partes do sinal  Degradação de sinal em gravações antigas de gramofones  Necessária a reconstrução localizada de sinais.

3 Reconstrução Localizada de Sinais  Técnicas:  Interpolação de banda limitada (Band-limited interpolation);  Esquemas de substituição de forma de onda (Waveform substitution schemes);  Interpolação com base em modelagem senoidal (Interpolation based on sinusoidal modeling);  Métodos de Subbanda (Subband methods);  Interpolação com base em modelagem autorregressiva (Autoregressive-based interpolation).

4 Interpolação com base em Modelagem Autorregressiva  Adequado para reconstrução de fragmentos curtos de sinais de áudio.  Fragmento curto  Limitado pela suposição de estacionariedade.  Estacionariedade em sinais de áudio => janelas de 20 a 50 ms.  Casos extremos:  comprimento da lacuna ≈ período de estacionariedade

5 Interpolação com base em Modelagem Autorregressiva - Casos Extremos  Problemas:  Meio da lacuna não é bem modelado  Energia do sinal interpolado decresce  Minimização do erro de modelagem AR  Ordem do modelo AR insuficiente => raio dos pólos do modelo subestimados  Características espectrais antes e depois da lacuna muito diferentes

6 Interpolação com base em Modelagem Autorregressiva - Casos Extremos  Soluções:  Aumentar ordem do modelo AR  Raio dos pólos aumentam: resposta ao impulso decai mais lentamente  Dois modelos AR  Modelo para o fragmento antes da lacuna  Modelo para o fragmento depois da lacuna

7 Proposta  Modificação no esquema de Interpolação com base em Modelagem Autorregressiva (AR) proposto em [1]-[3].  Objetivo:  Reduzir ordem de modelos AR usados em métodos de interpolação. Extrapolação pura do modelo AR: Condição Inicial Resposta relaxada x Proposta: Sinal excitando filtro de síntese Resposta forçada

8 Core Interpolation Method

9

10  Em uma das referências  Sinal de excitação estendido é formado concatenando G 0’s  Para o caso de N < G  Necessário concatenar 0’s ao sinal até que hajam G amostras para reconstrução

11 Core Interpolation Method  Excitação Espelhada  Inspirada em técnicas de processamento por blocos  Feitas para minimizar erros transitórios (indesejáveis)  Considerações  Modelos AR de ordem baixa  Sinais longos  Sinais típicos: energia e componentes frequenciais variantes

12 Core Interpolation Method  É importante notar que a reflexão do sinal de excitação garante que o sinal reconstruído é coerente com o sinal intacto  O começo do gap parece mais com o sinal anterior à lacuna  O fim do gap parece mais com o sinal após a lacuna  Trecho reconstruído livre de distorções impulsivas

13 Pós-Processamento Multitaxa  Objetivo: Reduzir audibilidade dos artefatos em baixa frequência  Descrição: 1. Decompor o sinal em 6 subbandas => Banco de Filtros Maximamente Decimado em oitavas 2. Reaplicar o processo de interpolação convencional nas duas subbandas de menor frequência. (1ª 0 – 690 Hz) (2ª 690 - 1380 Hz)  Interpolação na subbanda mais fácil (modelo AR de menor ordem) 1. Menor número de modos ressonantes a serem modelados 2. Comprimento da lacuna a ser preenchida menor 32 vezes (fator de decimação das subbandas)

14 Pós-Processamento Multitaxa  Interpolação na subbanda mais fácil !?  Melhor fazer apenas o método convencional nas subbandas, assim não tem erro nas frequências baixas. Certo!?  Errado! Mais custoso computacionalmente.  Lacuna da subbanda de menor frequência /= 32  Mas, Lacuna da subbanda de maior frequência /= 2  Não faz sentido se esforçar mais para recuperar as frequências altas que as baixas.

15 Pós-Processamento Multitaxa  E passando o sinal pelo Banco de Filtros no início?  Aplica a proposta nas 4 subbandas superiores e o convencional nas duas inferiores, melhor!?  Não! Mais custoso computacionalmente.  Artigo: 3 interpolações de baixo custo (1º estágio e 1ª e 2ª subbandas)  Ideia: 6 interpolações de baixo custo (1 por subbanda)

16 Pós-Processamento Multitaxa  Como decompor sinal em subbandas?  Banco de filtro estruturado em árvore binária:  Interpolação convencional => subbandas de baixa frequência  Banco de Filtro de reconstrução perfeita  Filtros de síntese e análise projetados para formar CQFs (Conjugate Quadrature Filters)  Filtros de ordem 15

17 Pós-Processamento Multitaxa

18 Estudo de Caso  Sinal utilizado: tom de piano em baixa frequência  Estudo de Caso:  (a) insatisfatório  (b) Energia ok, desvio de fase em relação ao sinal original => Som “bump-like” baixa frequência  (c) Desvio de fase corrigido pelo pós- processamento, efeito colateral => porção modificada do sinal maior que a lacuna original  (d) Melhor resultado  Custo Computacional:  Interpolação proposta (p=50) => Ci  Pós-processamento => Cp  Cp = 0,7*Ci  Custo total do esquema = 1,7 Ci  Custo equivalente ao esquema convencional para p=85, que é insuficiente para restaurar o sinal.  G = 1800, N = 2100 @44,1 kHz  (a) Interpolador Convencional – p = 100  (b) Método Proposto – p = 50  (c) Método Proposto – p = 50, pós processamento  (d) Interpolador Convencional – p = 1000

19 Comparação com Outros Métodos  LSAR (Least-Square Autoregressive)  p = 100  3 iterações de processamento foram utilizadas para refinar os resultados de interpolação  LSAR-E (LSAR com sinal de excitação com energia constante)  p = 100, energia do sinal de excitação automaticamente ajustada  3 iterações de processamento foram utilizadas para refinar os resultados de interpolação  LSAR + SIN (LSA com base senoidal adicional)  LSAR com bases senoidais extras  p = 60  40 bases senoidais (frequências estimadas pela STFT) Métodos concorrentes = 100

20 Comparação com Outros Métodos  Pela Figura, as soluções (b), (c) e (d) tem desempenhos comparáveis  (d) é o que apresenta menor custo computacional  G = 1800, N = 2100 @44,1 kHz  (a) – LSAR  Péssimo resultado, como esperado  (b) – LSAR + SIN  Sinal reconstruído um pouco suavizado, devido à predominância de componentes senoidais  (c) – LSAR-E  Apresenta mais ruído e fora de fase comparado ao sinal original  (d) - PM

21 Comparação com Outros Métodos  Realizando outros testes:  Sinais utilizados: 40 trechos de sinais de instrumentos e musica com acompanhamento vocal.  Usou-se a SNR para avaliar o desempenho dos métodos analisados.  Cada sinal possui aproximadamente 6000 amostras;  Foram gerados 10 diferentes sinais corrompidos para cada sinal;  As lacunas em cada sinal variam randomicamente de 400 a 1800 amostras; OBS: Em todos os casos, os piores resultados para erros de restauração obtidos foram maiores do que se tivessem deixado do jeito que estava! OBS: Em todos os casos, os piores resultados para erros de restauração obtidos foram maiores do que se tivessem deixado do jeito que estava!

22 Avaliação Subjetiva  Objetivo: Comparar os resultados obtidos pelo método utilizado tradicionalmente e pelo proposto no artigo;  Sinais utilizados:  2 trechos de 10 a 20s de musica do tipo pop ou clássica;  Uma voz feminina a capella;  Um tom de piano em baixa frequência;  Um grupo de 5 sinais foram criados para cada sinal de teste: CORSinal Corrompido CM1KRestaurado com método convencional com p = 1000 CM100Restaurado com método convencional com p = 100 PMRestaurado com método proposto REFSinal Original

23 Avaliação Subjetiva – Realização do teste  12 pessoas aproximadamente participaram dos testes;  Sem problemas auditivos;  Entre 24 a 35 anos;  Possuem certa experiência com musica;  Estão familiarizados a esse tipo de teste;

24 Avaliação Subjetiva – Resultados Gerais  O resultado obtido para o método proposto, na média, apresentou melhor resultado que o método convencional com mesmo custo computacional;  O resultado obtido para o método proposto se compara ao obtido pelo método convencional com p = 1000;

25 Avaliação Subjetiva – Resultados por sinal  Para os sinais “Classical” e “Pop” o PM foi considerado melhor que o CM1K;

26 Avaliação Subjetiva – Resultados por sinal  Para os sinais “Piano” e “Singing” o PM foi considerado pior que o CM1K, mas com uma discrepância menor neste último;  Utilizando o PM, nota-se uma maior presença de artefatos nos sinais restaurados a partir destes dois sinais;

27 Avaliação Subjetiva – Resultados (SNR)  Algumas inconsistências:  A avaliação subjetiva mostrou melhor resultado para “classical” e “pop” para PM se comparado ao CM1K, diferente da avaliação objetiva;  Diferença entre PM e CM1K: análise subjetiva >> análise objetiva  Resultado para “Singing” diferente nas análises: Análise Subjetiva: PM melhor que CM100 Análise Objetiva: PM pior que CM100

28 Conclusão  Este trabalho apresenta um eficiente método de interpolação para longos trechos de amostras perdidas em sinais de áudio;  Os resultados obtidos demonstram que é possível obter resultados igualmente satisfatórios com um custo computacional bastante inferior;

29 Bibliografia  [1] I. Kauppinen, J. Kauppinen, and P. Saarinen, “A method for long extrapolation of audio signals,” J. Audio Eng. Soc., vol. 49, no. 12, pp.1167– 1180, Dec. 2001.  [2] I. Kauppinen and J. Kauppinen, “Reconstruction method for missing or damaged long portions in audio signal,” J. Audio Eng. Soc., vol. 50, no. 7/8, pp. 594–602, Jul./Aug. 2002.  [3] I. Kauppinen and K. Roth, “Audio signal extrapolation—theory and applications,” in Proc. 5th Int. Conf. on Digital Audio Effects, Hamburg,Germany, Sep. 2002, pp. 105–110.

30