Estimação Não-Paramétrica EE-240/2009 Estimação Não-Paramétrica
Estimação Paramétrica Assumir uma certa distribuição (normal, exponencial, Weibull, etc.) Estimar os parâmetros da distribuição a partir das observações Utilizar a distribuição com os parâmetros estimados.
Densidade Normal
30 observações
OK Função densidade de probabilidade estimada (assumindo distribuição normal)
Uma Densidade Bimodal
30 observações
No Good! Função densidade de probabilidade estimada (assumindo distribuição normal)
Métodos não-paramétricos Nãoassumir um tipo específico de distribuição a priori Estimar a densidade de probabilidade a partir das observações Utilizar a densidade de probabilidade estimada.
Exemplo: Histograma (1)
30 observações
Divisão do intervalo em 10 trechos
Normalizar
Ajustar
Divisão do intervalo em 5 trechos
Divisão do intervalo em 20 trechos
60 observações
120 observações
240 observações
480 observações
960 observações
1920 observações
Divisão do intervalo em 10 trechos 30 observações
Divisão do intervalo em 20 trechos
3840 observações
“Kernel density estimation”: K(x) = Função kernel de “área unitária” h = Parâmetro de alargamento (suavização)
h=1 h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=1 Kernel Retangular, h=1
h=2 Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Retangular, h=2
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Triangular, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Triangular, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
Kernel Gaussiano, h=1
[F,XI]=KSDENSITY(X) computes a probability density estimate of the sample in the vector X. KSDENSITY evaluates the density estimate at 100 points covering the range of the data. F is the vector of density values and XI is the set of 100 points. The estimate is based on a normal kernel function, using a window parameter (bandwidth) that is a function of thenumber of points in X. F=KSDENSITY(X,XI) specifies the vector XI of values where the density estimate is to be evaluated. (Matlab Statistics Toolbox)
Vantagens Métodos paramétricos: Propriedades teóricas bem-estabelecidas. Métodos não-paramétricos: Dispensam a escolha a priori de um tipo de distribuição. Aplicabilidade mais ampla. Simplicidade de uso.
Desvantagens Métodos paramétricos: Métodos não-paramétricos: Podem levar a resultados inadequados se a população não seguir a distribuição assumida na análise. Métodos não-paramétricos: Requerem um número maior de amostras para atingir a mesma “qualidade” de ajuste. Maior dificuldade para o estabelecimento de propriedades teóricas.
Bootstrap
Motivação: Em muitos casos, pode não ser trivial obter o intervalo de confiança para uma dada estimativa. Exemplo (prognóstico baseado em análise de tendência): Previsão da Remaining Useful Life com base na série histórica de um índice de degradação.
Pode não ser possível obter o intervalo de confiança de forma analítica se os dados não se conformarem às hipóteses usuais (ruído gaussiano, homoscedástico, etc.)
Bootstrap: Técnica de reamostragem (com reposição) que pode ser empregada para obter informações sobre a incerteza associada a uma estimativa.
Amostragem com reposição Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Reamostragem Conjunto original Bootstrap
Bootstrap 1 Conjunto original Bootstrap 2 Reamostragens Bootstrap 3
Uso de Bootstrap em estimação Considere que uma variável y tenha sido estimada a partir de n observações de uma variável x: Sejam X1, X2, ..., XN bootstraps gerados a partir de X. Seja ainda: Pode-se então levantar estatísticas com base nas N estimativas resultantes.
Exemplo 1: Estimativa da Mediana Amostra de 10 observações gerada a partir de uma distribuição uniforme no intervalo [0, 10] (números inteiros): X = { 10, 2, 6, 5, 9, 8, 5, 0, 8 }. Cálculo da mediana: Xordenado = { 0, 2, 5, 5, 6, 8, 8, 9, 10 }
Estimativas obtidas (em ordem crescente): Intervalo de confiança para a estimativa (70% de confiança 5-6):
Exemplo 2 Estimativa de Mediana Amostra de 30 observações gerada a partir de uma distribuição uniforme no intervalo [0, 10]:
Exemplo 2 Estimativa de Mediana Amostra de 30 observações gerada a partir de uma distribuição uniforme no intervalo [0, 10]: Em 69 dos 100 bootstraps, a mediana obtida estava no intervalo [4, 6]. Intervalo [4, 6] 69% de confiança.
Densidade de probabilidade para o resultado obtido por Bootstrap Pode-se aplicar o método das janelas de Parzen aos resultados obtidos a partir dos bootstraps. Neste caso, o resultado de cada bootstrap é considerado uma “observação” da grandeza a ser estimada.
Exemplo anterior com kernel gaussiano
Bootstrap e análise de tendência
d d t t d d t t
BOOTSTRP Bootstrap statistics. BOOTSTRP(NBOOT,BOOTFUN,...) draws NBOOT bootstrap data samples and analyzes them using the function, BOOTFUN. NBOOT must be a positive integer. The third and later arguments are the data; BOOTSTRP passes bootstrap samples of the data to BOOTFUN. (Matlab Statistics Toolbox)
Muito Obrigado!