Estimação Bayesiana de Sinais Baseada em Ôndulas Mário A. T. Figueiredo Instituto de Telecomunicações, and Departamento de Engenharia Electrotécnica e.

Apresentação em tema: "Estimação Bayesiana de Sinais Baseada em Ôndulas Mário A. T. Figueiredo Instituto de Telecomunicações, and Departamento de Engenharia Electrotécnica e."— Transcrição da apresentação:

1 Estimação Bayesiana de Sinais Baseada em Ôndulas Mário A. T. Figueiredo Instituto de Telecomunicações, and Departamento de Engenharia Electrotécnica e de Computadores Instituto Superior Técnico Lisboa, PORTUGAL

2 W Sinal Original y “Discrete wavelet transform” (DWT)  W DWT inversa Sinal processado Exemplos: compressão estimação (e.g., “denoising”) 1  Coeficientes observados  Coeficientes processados Regra de processamento Processamento de sinais baseado na transformada discreta

3 Sinal discreto W x DWT (periódica)  W x Coeficientes Decorrelação  “mais branco” do que x 2 Ortonormal W W = I T Esparsa  é dominada por “poucos” coeficientes “grandes” x = [x 1,…x n ]  = [  1,…,  n ] Características da DWT

4 y = x + n Ruído branco gaussiano Sinal original Sinal ruidoso DWT Wy = Wx + Wn (W é ortonormal) 3 W y   W T  ^ Estimator ^ x x = W  (Wy) T ^  + n’ Estimação baseada em ôndulas (remoção de ruído)

5 4 Representação dominada por “poucos” coeficientes “grandes” DWT DFT Sinal “vulgar” Coeficientes da DWT: esparsos

6 5 Sinal “vulgar” Ruído branco gaussiano Histograma dos valores absolutos Histograma dos valores absolutos ~10 4 DWT Coeficientes da DWT: esparsos

7 Sugere : - Manter os coeficientes grandes que dominam a representação - Eliminar os pequenos, “provavelmente” dominados por ruído. 6 Valores de n’ Valores de  p(  ) Esparsa, ou “heavy tailed”  e n’ têm características estatísticas diferentes Gaussiana p(n’)  =  n’ Como estimar  ? Remoção de ruído baseada na DWT

8 7 Objectivo: Manter os coeficientes “grandes” e eliminar os restantes. Questões: qual  ( ) ? Que limiar ? Regras de limiar (“thresholding rules”) “hard” “soft”    s   H  Donoho and Johnstone (1994), outros... ^ ^ Remoção de ruído baseada na DWT

9 8 Métodos para escolha de limiar: - Limiar universal (VisuShrink) Donoho & Johnstone (1994). - Limiar que depende do nível da decomposição e estimado a partir dos coeficientes observados com base no “Steins unbiased risk estimator” (SURE) (SureShrink); Donoho & Johnstone (1995). - Validação cruzada (“cross-validation”); Weyrich & Warhola (1994) e Nason (1994). - Métodos bayesianos; Vidakovik (1994), Chipman, Kolaczyk, & McCulloch (1995), Crouse, Nowak, & Baraniuk (1997), Figueiredo & Nowak (1998). Remoção de ruído baseada na DW”T: técnicas propostas

10 9 Sinal original Sinal ruidoso Sinal estimado “soft threshold” “Sure criterion” Remoção de ruído baseada na DWT: Exemplo

11 10  =  n’ Modelo de observação: n’ ~ i.i.d. gaussianos média nula variância  2 Função de verosimilhança: p  N    Conhecimento a priori: p  Lei de Bayes: p(  ) = p  p  p  Probabilidade (conhecimento) a posteriori Função de custo L(  ’) - Custo associado com a estimativa  ’ quando o verdadeiro valor é  Revisão: estimação bayesiana

12 11 Objectivo: regra de estimação  ^ Critério: minimizar o valor expectável a posteriori do custo (“posterior expected loss”) Exemplos: L(  ’) = ||  ’   (média a posteriori) L(  ’) = (máximo a posteriori - MAP) Revisão: estimação bayesiana

13 12 y = x + n DWT Wy = Wx + Wn  + n’ Modelo de observação / função de verosimilhança Relembrar... Ruído branco gaussiano (W é ortonormal) p(y|x) = N (x,  2 I) p(  ) = N ( ,  2 I) Funções de veromilhança semelhantes nos domínios do sinal e da DWT Remoção de ruído baseada na DWT: Formulação bayesiana

14 13 …induz, no “domínio do sinal”, p X (x) dx = p  (Wx) d  p X (x) = p  (Wx) …porque det(W)=1, dx = d  Propriedade de descorrelação da DWT. Coeficientes a priori independentes. Função densidade de probabilidade a priori, no “domínio dos coeficientes” p   ) com  = Wx Formulação bayesiana

15 Teoria da decisão bayesiana Verosimilhança “prior” Custo L(x,x’) 14 x =  (y) regra de estimação óptima ^ x = W T  Bayes (  ) = W T  Bayes (W  y) ^ Sob certas condições (fracas) no custo L(x,x’) : W y   W T  ^ Estimador  Bayes (.) ^ x = W T  Formulação bayesiana

16 15 Verosimilhança e probabilidade a priori exprimem independência Estimação independente; i.e., coeficiente por coeficiente Justifica que se considere apenas um coeficiente . p  |  ~ N ( ,  2 ) Função de verosimilhança simples Pergunta: o que deve exprimir a fdp a priori, p(  ) ? Resposta: o carácter esparso dos coeficientes da DWT Formulação bayesiana: escolha do “prior”

17 16 Proposta: Exprime total ignorância acerca da “escala” em que está representado  …no seguinte sentido: Mudança de escala (por ex., de volt para milivolt):  ’= k  Outra interpretação: p(log(|  )) = const. Formulação bayesiana: escolha do “prior”

18 17 Características de: Extremamente “heavy-tailed” Tão “heavy-tailed” que é impróprio. …não é uma função densidade de probabilidade “vulgar”. Limite de uma família de Student-t Formulação bayesiana: escolha do “prior”

19 18 Lei de Bayes: Escreva-se: Em que p’(  ) está não normalizada: Obviamente: Conclusão: p(  ) não depende da normalização do “prior” Revisão: estimação bayesiana com “prior” impróprio

20 19 Lei de Bayes com “prior” não normalizado Exemplo clássico: estimador de máxima verosimilhança: …não é mais do que um estimador MAP com p’(  ) = const.=A Revisão: estimação bayesiana com “prior” impróprio

21 Dificuldade: com 20...a própria fdp a posteriori é imprópria: Solução: Escrita alternativa para p(  ): Bayes hierárquico. Aplicação de uma técnica de Bayes empírica (“empirical Bayes”) O “prior”proposto

22 21 A fdp a priori é equivalente ao seguinte modelo hierárquico: p  |  = N ( ,  2 ) p  |    = N ( ,  2 ) p  2 ) “Prior” de Jeffreys Estimação bayesiana hierárquica

23 p  2 ) Invariante sob mudanças de escala (ignorância) p  2 ) a b aa bb 22 mesma área, mesma probabilidade = Universal: não depende de escolha de escala Estimação bayesiana: “prior” de Jeffreys

24 23 1. Estimar  2 com base na fdp marginal: 2. Utilizar essa estimativa no critério de Bayes:  =  Bayes (  |  2 ) Estimaçao bayesiana empírica

25 24 p  |  2 ) = N ( ,  2 +  2 ) z z+z+ p  |  = N ( ,  2 )...porque  + n N(,2)N(,2) N(,2)N(,2) p  2 ) ~ “prior de Jeffreys” 22 p  |    = N ( ,  2 )  = E[  |  ,  ] = ^  2 +  2   Estimaçao bayesiana empírica

26 25  Limiar “universal” Nova regra de “threshold/shrinkage”

27 26 Nova regra versus “hard” e “soft” “thresholding” (com o mesmo limiar)  Nova regra versus “hard” e “soft” “thresholding”

28 27 Comparação de desempenho: sinal “Blocks”

29 28 Comparação de desempenho: sinal “Bumps”

30 29 Comparação de desempenho: sinal “Doppler”

31 30 Comparação de desempenho: sinal “HeaviSine”

32 31 + ruído processamento Exemplo em restauração de imagens

33 32 + ruído processamento Exemplo em restauração de imagens