Estatística: Aplicação ao Sensoriamento Remoto ANO 2010 Camilo Daleles Rennó camilo@dpi.inpe.br http://www.dpi.inpe.br/~camilo/estatistica/

Teste de Hipótese para  Uma amostra de 25 valores foi selecionada, chegando a uma média amostral igual a 11,3. Poderia esta média amostral ter sido obtida de uma população com média  = 10 e variância s2 = 16? - + Hipóteses H0 :  = 10 H1:   10 (hipótese nula) (hipótese alternativa) zcrít -zcrít Se H0 é verdadeira, então rejeição de H0 aceitação de H0 z <<< 0 Se H0 falsa z = 0 Se H0 verdadeira z >>> 0 Se H0 falsa Região Crítica: aceito H0 se –zcrít < z < zcrít  P(–zcrít < z < zcrít) = 1 -  rejeito H0 caso contrário  P(|z| > zcrít) =  Conclusão (sempre associada a um nível de significância)

Teste de Hipótese para  Uma amostra de 25 valores foi selecionada, chegando a uma média amostral igual a 11,3. Poderia esta média amostral ter sido obtida de uma população com média  = 10 e variância s2 = 16? Adotando-se 5% de significância... Hipóteses H0 :  = 10 H1:   10 (hipótese nula) (hipótese alternativa) 2,5% 2,5% 95% - 1,96 -1,96 zcrít -zcrít + 1,625 Se H0 é verdadeira, então rejeição de H0 aceitação de H0 Região Crítica: aceito H0 se –zcrít < z < zcrít  P(–zcrít < z < zcrít) = 1 -  rejeito H0 caso contrário  P(|z| > zcrít) =  aceito H0 se –1,96 < z < 1,96 rejeito H0 caso contrário Conclusão: não há razões para duvidar que a média  seja de fato 10, adotando-se 5% de significância Conclusão (sempre associada a um nível de significância)

Teste de Hipótese para  Hipóteses H0 :  = 10 H1:  > 10 (teste unilateral) - + Se H0 é verdadeira, então zcrít aceitação de H0 rejeição de H0 Região Crítica: aceito H0 se z < zcrít  P(z < zcrít) = 1 -  rejeito H0 caso contrário  P(z > zcrít) =  Conclusão (sempre associada a um nível de significância)

Teste de Hipótese para  Hipóteses H0 :  = 10 H1:  > 10 (teste unilateral) - + 95% 5% Se H0 é verdadeira, então zcrít 1,645 1,625 aceitação de H0 rejeição de H0 Região Crítica: aceito H0 se z < 1,645 rejeito H0 caso contrário aceito H0 se z < zcrít  P(z < zcrít) = 1 -  rejeito H0 caso contrário  P(z > zcrít) =  Conclusão: não há razões para duvidar que a média  seja de fato 10, adotando-se 5% de significância (teste unilateral) Conclusão (sempre associada a um nível de significância)

Teste de Hipótese – Erros I e II Hipóteses H0 :  = 0 H1:  > 0 Existe a possibilidade de se selecionar uma amostra de uma população com média 0 e obter alto de forma que leve a conclusão errada de que H0 é falsa? - + zcrít

Teste de Hipótese – Erros I e II Hipóteses H0 :  = 0 H1:  > 0 Existe a possibilidade de se selecionar uma amostra de uma população com média 0 e obter alto de forma que leve a conclusão errada de que H0 é falsa? - + 0 Sim. Este erro é chamado de erro do tipo I e equivale ao nível de significância . P(rejeitar H0 / H0 é verdadeira) =  P(aceitar H0 / H0 é verdadeira) = 1 - 

Teste de Hipótese – Erros I e II Hipóteses H0 :  = 0 H1:  > 0 Existe a possibilidade de se selecionar uma amostra de uma população com média 1 (> 0) e obter de forma que leve a conclusão errada de que H0 é verdadeira? - 0 + 1 Sim. Este erro é chamado de erro do tipo II ou erro . aceitação de H0 P(aceitar H0 / H1 é verdadeira) =  P(rejeitar H0 / H1 é verdadeira) = 1 -  (poder do teste)

Teste de Hipótese – Erros I e II Hipóteses H0 :  = 0 H1:  > 0 H0 é verd. H0 é falso Aceita H0 Rejeita H0 - 0 + 1 1 -    1 -  Alternativas para diminuir : distanciar 1 de 0 aumentar  aumentar n

Teste de Hipótese para  No exemplo anterior, uma amostra de 25 valores foi selecionada, chegando-se a uma média amostral igual a 11,3. Através de um teste z unilateral, chegou-se a conclusão que a verdadeira média  poderia ser igual a 10, adotando-se o nível de significância de 5% (considerando s2 = 16). Mas qual a probabilidade de chegarmos a esta mesma conclusão, sendo a verdadeira média igual a 12, ou seja, qual o valor de  ? H0 :  = 10 H1:  > 10 Se H0 é verdadeira, então - + zcrít = ? 1,645 aceito H0 se z < 1,645 rejeito H0 se z > 1,645 Conclusão: Aceito H0 Aceito H0, ou seja, a média  é igual a 10 considerando 5% de significância

Teste de Hipótese para  Agora, considerando a  igual a 12 - + zcrít = ? 1,645 H0 :  = 10 H1:  = 12 H0 verdadeiro  = P(aceitar H0 / H1 é verdadeiro)

Teste de Hipótese para  Agora, considerando a  igual a 12 H0 :  = 10 H1:  = 12 - 10 H0 H1 + 12  = P(aceitar H0 / H1 é verdadeiro)  11,316

Teste de Hipótese – valor-P (p-value) Toda conclusão de um teste de hipótese está associada a um nível de significância. Por exemplo: “Com base num teste z unilateral a 5% de significância, pôde-se concluir que a média  é maior que 20 uma vez que a estatística z obtida foi de 2,5 (zcrítico = 1,645)”. - + 1,645 Aceita H0 Rejeita H0 H0 :  = 20 H1:  > 20 Se H0 é verdadeira, então 2,5 A média  continuaria ser significativamente maior do que 20 se fosse adotado um nível de significância de 1%?

Teste de Hipótese – valor-P (p-value) Toda conclusão de um teste de hipótese está associada a um nível de significância. Por exemplo: “Com base num teste z unilateral a 5% de significância, pôde-se concluir que a média  é maior que 20 uma vez que a estatística z obtida foi de 2,5 (zcrítico = 1,645)”. 2,5 - + 2,33 Aceita H0 Rejeita H0 H0 :  = 20 H1:  > 20 Se H0 é verdadeira, então 2,5 A média  continuaria ser significativamente maior do que 100 se fosse adotado um nível de significância de 1%? Para que valores de nível de significância, a média  poderia ser considerada igual a 20?

Teste de Hipótese – valor-P (p-value) Toda conclusão de um teste de hipótese está associada a um nível de significância. Por exemplo: “Com base num teste z unilateral a 5% de significância, pôde-se concluir que a média  é maior que 20 uma vez que a estatística z obtida foi de 2,5 (zcrítico = 1,645)”. 2,5 - + Aceita H0 Rejeita H0 H0 :  = 20 H1:  > 20 Se H0 é verdadeira, então valor-P ? 0,0062 2,5 Para que valores de nível de significância, a média  poderia ser considerada igual a 20? A média  continuaria ser significativamente maior do que 100 se fosse adotado um nível de significância de 1%? Pode-se aceitar H0 para qualquer nível de significância () menor que 0,0062. valor-P = P(Z > z), ou seja, neste caso valor-P = P(Z > 2,5) = 0,0062

Teste de Hipótese – valor-P (p-value) Exemplo: Foram coletadas amostras (50 pontos) em mapas a fim de avaliar sua exatidão. Procedeu-se o teste z para verificar quais deles possuíam exatidão (p) de 0,90. A tabela abaixo apresenta a exatidão estimada, o resultado do teste (estatística z) e o valor-P de cada mapa. z valor-P Mapa 1 0,87 -0,707 0,2397 Mapa 2 0,62 -6,600 2,07e-11 Mapa 3 0,82 -1,886 0,0297 Mapa 4 0,84 -1,414 0,0786 Quais mapas possuem exatidão menor que 0,90, com 5% de significância? Mapas 2 e 3 Quais mapas possuem exatidão menor que 0,90, com 1% de significância? Somente Mapa 2

Teste de Hipótese para 2 Hipóteses H0 : 2 = 25 H1: 2  25 amostra (hipótese nula) (hipótese alternativa) s2 = 27,34 Uma população com variância 2 = 25 conhecida poderia produzir uma amostra com s2 = 27,34? 2 = 25

Teste de Hipótese para 2 Hipóteses H0 : 2 = 25 H1: 2  25 amostra (hipótese nula) (hipótese alternativa) s2 = 27,34 Uma população com variância 2 = 25 conhecida poderia produzir uma amostra com s2 = 27,34? 2 = 25 Se H0 é verdadeira, então

Teste de Hipótese para 2 Hipóteses H0 : 2 = 25 H1: 2  25 (hipótese nula) (hipótese alternativa) + Se H0 é verdadeira, então rejeição de H0 aceitação de H0 Região Crítica: aceito H0 se xa < X < xb  P(xa < X < xb) = 1 -  rejeito H0 caso contrário Conclusão (sempre associada a um nível de significância)

Teste de Hipótese para 2 Exemplo: uma v.a. qualquer tem uma distribuição desconhecida com média m e variância s2 desconhecidas. Retira-se uma amostra de 25 valores e calcula-se a variância amostral. Supondo que s2 = 2,34, teste a hipótese de que a verdadeira variância s2 seja de fato igual a 4, considerando 5% de significância. + Hipóteses H0 : 2 = 4 H1: 2  4 Se H0 é verdadeira, então ? ? 12,40 39,36 Região Crítica: aceito H0 se 12,40 < X < 39,36 rejeito H0 caso contrário Conclusão: Aceito H0, ou seja, não há razões para discordar que, a 5%, s2 = 4

Teste de Hipótese para  com 2 desconhecida Exemplo: uma v.a. qualquer tem uma distribuição desconhecida com média m e variância s2 também desconhecidas. Retira-se uma amostra de 25 valores e calcula-se a média amostral e a variância amostral. Supondo que e s2 = 4,5, teste a hipótese unilateral a 1% de que m = 15. H0 :  = 15 H1:  < 15 - + aceito H0 se t > -2,492 rejeito H0 se t < -2,492 Se H0 é verdadeira, então tcrít = ? - 2,492 Conclusão: Rejeito H0, ou seja, a média é significativamente (a 1%) menor que 15

Inferência entre parâmetros de duas populações Mesmo não se conhecendo as médias 1 e 2, seria possível verificar se elas são iguais a partir de seus valores amostrais? Se 1 e 2 são iguais, então 1 - 2 = 0.

Teste de Hipótese para 1 = 2 Hipóteses H0 : 1 - 2 = 0 (1 = 2) H1: 1 - 2  0 desconhecidas, mas conhecidas - + zcrít -zcrít Se H0 é verdadeira, então

Teste de Hipótese para 1 = 2 e desconhecidas (fazendo ) (homocedástico)

Teste de Hipótese para 1 = 2 e desconhecidas

Teste de Hipótese para 1 = 2 e desconhecidas

Teste de Hipótese para 1 = 2 Hipóteses H0 : 1 - 2 = 0 (1 = 2) H1: 1 - 2  0 e desconhecidas mas (t homocedástico) - + tcrít -tcrít Se H0 é verdadeira, então

Teste de Hipótese para 1 = 2 Hipóteses H0 : 1 - 2 = 0 (1 = 2) H1: 1 - 2  0 e desconhecidas mas (t heterocedástico) - + tcrít -tcrít Se H0 é verdadeira, então

Teste de Hipótese para 1 = 2 Exemplo: duas v.a. quaisquer têm distribuições desconhecidas com médias e variâncias também desconhecidas. Retira-se uma amostra de cada população e calcula-se a média e a variância para cada amostra. Teste a hipótese de que as variâncias e médias populacionais não diferem significativamente a 5% entre si, considerando que: Usar teste t homocedástico ou heterocedástico? primeiramente deve-se testar se

Distribuição F (de Snedecor) + (lê-se: X tem distribuição F com g1 e g2 graus de liberdade) Propriedades: + a) se e então b) se então +

Distribuição F + F g1 g2

Distribuição F + F g1 g2

Distribuição F + F g1 g2

Distribuição F Se

Teste de Hipótese para + Exemplo: duas v.a. quaisquer têm distribuições desconhecidas com médias e variâncias também desconhecidas. Retira-se uma amostra de cada população e calcula-se a média e a variância para cada amostra. Teste a hipótese de que as variâncias e médias populacionais não diferem significativamente a 5% entre si, considerando que: Hipóteses + Se H0 é verdadeira, então Região Crítica: ? ? aceito H0 se 0,47 < F < 1,99 rejeito H0 caso contrário Conclusão: Aceito H0, ou seja, não há razões para discordar que, a 5%,

Teste de Hipótese para 1 = 2 (cont.) Exemplo: duas v.a. quaisquer têm distribuições desconhecidas com médias e variâncias também desconhecidas. Retira-se uma amostra de cada população e calcula-se a média e a variância para cada amostra. Teste a hipótese de que as variâncias e médias populacionais não diferem significativamente a 5% entre si, considerando que: Hipóteses H0 : 1 - 2 = 0 (1 = 2) H1: 1 - 2  0 - + 95% t -t 2,5% (t homocedástico) Se H0 é verdadeira, então ? 1,997 t = -14,9515 Conclusão: Rejeito H0, ou seja, as médias são diferentes significativamente a 5%

Teste de Hipótese para p Hipóteses H0 : p = p0 H1: p  p0 - + zcrít -zcrít aceitação de H0 rejeição Se H0 é verdadeira, então Região Crítica: aceito H0 se –zcrít < z < zcrít  P(–zcrít < z < zcrít) = 1 -  rejeito H0 caso contrário  P(|z| > zcrít) =  Conclusão (sempre associada a um nível de significância)

Teste de Hipótese para p1 = p2 Hipóteses H0 : p1 – p2 = 0 (p1 = p2) H1: p1 – p2  0 - + zcrít -zcrít aceitação de H0 rejeição Se H0 é verdadeira, então Região Crítica: aceito H0 se –zcrít < z < zcrít  P(–zcrít < z < zcrít) = 1 -  rejeito H0 caso contrário  P(|z| > zcrít) =  Conclusão (sempre associada a um nível de significância)

Teste de Hipótese (resumo) para  se 2 é conhecida se 2 é desconhecida para 2 para 1 - 2 se e são conhecidas se e são desconhecidas, mas

Teste de Hipótese (resumo) para  se 2 é conhecida se 2 é desconhecida para 2 para 1 - 2 se e são conhecidas se e são desconhecidas, mas para para p para p1 – p2

Teste de Hipótese / EXCEL Exemplo: Para se comparar a resposta espectral de 2 alvos, 10 pixels são escolhidos aleatoriamente de cada alvo, cujos resultados são apresentados abaixo. Adotando um nível de significância de 5%, podemos concluir que, em média, os alvos apresentam a mesma resposta? Comparação de duas médias: teste-t Mas qual? Homo ou heterocedástico? amostra Alvo 1 Alvo 2 1 128 98 2 134 105 3 110 99 4 112 109 5 125 95 6 107 101 7 111 100 8 115 92 9 130 10 120 Teste-F: duas amostras para variâncias Alvo 1 Alvo 2 Média 119,2 101,6 Variância 90,84444 36,04444 Observações 10 gl 9 F 2,520345 P(F<=f) uni-caudal 0,092349 F crítico uni-caudal 3,178893 Teste-t: duas amostras presumindo variâncias equivalentes Alvo 1 Alvo 2 Média 119,2 101,6 Variância 90,84444 36,04444 Observações 10 Variância agrupada 63,44444 Hipótese da diferença de média gl 18 Stat t 4,940841 P(T<=t) uni-caudal 5,28E-05 t crítico uni-caudal 1,734064 P(T<=t) bi-caudal 0,000106 t crítico bi-caudal 2,100922 H0 : 1 - 2 = 0 H1: 1 - 2 > 0 Conclusão: através do teste-t homocedástico unilateral, pôde-se concluir que a média do alvo 1 deve ser maior que a do alvo 2, adotando-se um nível de significância de 5%, uma vez que valor-P foi menor que 0,05 (0,0000528).

Teste t pareado 10 pontos são escolhidos em cada imagem Esquema 1 amostra A B 1 12 15 2 34 17 3 16 21 4 28 27 5 25 6 32 7 23 8 13 19 9 29 10 31 30 Esquema 1 Imagem A Imagem B amostra A B 1 12 11 2 34 37 3 16 18 4 28 5 15 6 17 19 7 23 24 8 13 9 29 32 10 31 33 Esquema 2

Teste t pareado Teste t Se H0 verdadeiro Esquema 1 H0 : A =  B amostra A B 1 12 15 2 34 17 3 16 21 4 28 27 5 25 6 32 7 23 8 13 19 9 29 10 31 30 Teste t Se H0 verdadeiro H0 : A =  B H1: A >  B H0 : A = B H1: A <  B Esquema 1 (Ac. H0 a 5%) (Ac. H0 a 5%) amostra A B 1 12 11 2 34 37 3 16 18 4 28 5 15 6 17 19 7 23 24 8 13 9 29 32 10 31 33 (Ac. H0 a 5%) Teste t Esquema 2

Teste t pareado Teste t Esquema 1 (Ac. H0 a 5%) (Ac. H0 a 5%) amostra A B 1 12 15 2 34 17 3 16 21 4 28 27 5 25 6 32 7 23 8 13 19 9 29 10 31 30 Teste t Esquema 1 (Ac. H0 a 5%) (Ac. H0 a 5%) amostra A B A-B 1 12 11 2 34 37 -3 3 16 18 -2 4 28 5 15 6 17 19 7 23 24 -1 8 13 9 29 32 10 31 33 Teste t pareado H0 : A-B = 0 H1: A-B < 0 Se H0 verdadeiro Esquema 2 (Rej. H0 a 5%)

Comparando-se as médias de r populações Sr n1 nr n2  Xij é o i-ésimo elemento da amostra retirada da população j (população = tratamento) j é a média da população j i = 1, ..., nj j = 1, ..., r - 1 + 2 r - + Xij = j + ij ij ~ N(0,2) j = * + j Xij = * + j + ij média global efeito da pop. j efeito aleatório * Todas r populações têm a mesma variância!!!

Comparando-se as médias de r populações B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 A B C D X11 X12 X13 X14 X21 X22 X23 X24 X32 X33 Total X*1 X*2 X*3 X*4 X** Média X1 X2 X3 X4 XT nj n1 n2 n3 n4 nT

Comparando-se as médias de r populações B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 A B C D 10 20 30 15 25

Comparando-se as médias de r populações B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 A B C D 10 20 30 15 25

Comparando-se as médias de r populações B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 A B C D 10 20 30 15 25

Comparando-se as médias de r populações B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 SQTO SQT SQE = +

Análise de Variância ANOVA (Análise de Variância) A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 ANOVA (Análise de Variância) Fonte de Variação Soma dos Quadrados Graus de Liberdade Quadrado Médio Tratamentos Erro Total r - 1 nT - r nT - 1

Análise de Variância ANOVA (Análise de Variância) A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 ANOVA (Análise de Variância) Fonte de Variação Soma dos Quadrados Graus de Liberdade Quadrado Médio Tratamentos Erro Total r - 1 nT - r nT - 1

Análise de Variância ANOVA (Análise de Variância) A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 H0 : 1 = 2 = ... = r H1: nem todos j são iguais ANOVA (Análise de Variância) Fonte de Variação Soma dos Quadrados Graus de Liberdade Quadrado Médio Tratamentos Erro Total H0 : j = 0 H1: nem todos j = 0 r - 1 nT - r nT - 1

Análise de Variância ANOVA (Análise de Variância) + A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 H0 : 1 = 2 = ... = r H1: nem todos j são iguais ANOVA (Análise de Variância) Fonte de Variação Soma dos Quadrados Graus de Liberdade Quadrado Médio Tratamentos Erro Total + r - 1  ac. H0 rej. H0 nT - r 1 H0 verd. H0 falso nT - 1

Análise de Variância ANOVA (Análise de Variância) A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 ANOVA (Análise de Variância) Fonte de Variação Soma dos Quadrados Graus de Liberdade Quadrado Médio F calculado Valor - P Tratamentos 258 Erro 46 Total 304 3 86 11,2 0,0072 6 7,67 9 Conclusão: rej. H0 a 5%, pelo menos uma média é diferente das demais

Análise de Variância OBSERVAÇÕES: Cada observação é independente das demais; Cada tratamento tem distribuição normal; Todas as distribuições têm a mesma variância; e ANOVA com 2 tratamentos (r = 2) é similar a um teste t bilateral (homocedástico).

Teste de Bartlett (igualdade de variâncias) Se , ... , são as variâncias amostrais de r populações com distribuição normal, então Fazendo H0 : H1: nem todas são iguais onde +  ac. H0 rej. H0 H0 verd. H0 falso

Teste de Bartlett (igualdade de variâncias) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total s2 1 4 nj 2 3 10 H0 : H1: nem todas são iguais + 0,05 Conclusão: aceito H0 a 5%, ou seja, as variâncias dos grupos podem ser as mesmas

Teste de Tukey (teste para comparação múltipla) Utilizado quando se deseja comparar todos os pares de médias de r populações, adotando-se um único nível de significância. H0 : H1: O teste consiste em calcular um valor (Dcrít), acima do qual, a diferença entre duas médias amostrais (em absoluto) é significativamente diferente de zero. onde representa o valor tabelado (vindo de uma distribuição da amplitude studentizada – “studentized range”) associado ao nível de significância adotado.

Distribuição da Amplitude Studentizada g r

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a b

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a b

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a b

Teste de Tukey (teste para comparação múltipla) Usando-se o exemplo da ANOVA: A B C D 12 14 19 24 18 17 30 13 21 Total 39 57 54 180 Média 15 27 nj 2 3 10 13 15 19 27 a ab b B A C D 10 20 30