Teste de hipóteses Aula 06 Prof. Christopher Freire Souza

Apresentação em tema: "Teste de hipóteses Aula 06 Prof. Christopher Freire Souza"— Transcrição da apresentação:

1 Teste de hipóteses Aula 06 Prof. Christopher Freire Souza
Centro de Tecnologia Universidade Federal de Alagoas

2 Christopher Souza: Teste de hipóteses
Objetivos Desenvolver habilidades para inferir o comportamento da população a partir de dados de uma amostra Desenvolver habilidades para inferir se o comportamento de duas população diferem a partir de dados de duas amostras Desenvolver habilidades para estimar o poder de um teste em rejeitar uma hipótese

3 Relevância do conteúdo
Christopher Souza: Teste de hipóteses Relevância do conteúdo Definição e avaliação de hipóteses é o cerne de estudos científicos Testes de hipóteses trazem o respaldo matemático para apoiar afirmações sobre o comportamento da população em estudo

4 Conteúdo Fundamentos de testes de hipóteses Testes sobre uma população
Christopher Souza: Teste de hipóteses Conteúdo Fundamentos de testes de hipóteses Testes sobre uma população Testes sobre duas populações

5 Fundamentos de testes de hipóteses
Christopher Souza: Teste de hipóteses Fundamentos de testes de hipóteses Hipótese Hipótese nula e alternativa Estatística de teste Valor crítico Valor p Decisões e conclusões Erro do tipo I e do tipo II Poder de um teste

6 Hipótese: nula e alternativa
Christopher Souza: Teste de hipóteses Hipótese: nula e alternativa Em estatística, hipótese é uma afirmação sobre uma propriedade da população Teste de hipótese: teste da afirmação Hipótese nula: afirmação em que o valor de um parâmetro é comparado a um valor específico H0: m=m0 Hipótese alternativa: afirmação que se deseja testar H1: m≠m0, H1: m>m0, H1: m<m0

7 Christopher Souza: Teste de hipóteses
Estatística de teste Valor usado para tomar decisão sobre a hipótese nula (rejeitá-la ou não) Estimativa pela conversão da estatística amostral em um escore (z, t, c²), a partir da suposição de que a hipótese nula seja verdadeira

8 Intervalos de confiança (proporção)
Christopher Souza: Teste de hipóteses Intervalos de confiança (proporção) Requisitos: Amostra aleatória simples. Condições para a distribuição binomial satisfeitas. Haver pelo menos 5 sucessos e 5 fracassos, o que permite aproximar pela distribuição normal Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de proporção esteja inserido no intervalo construído a partir da proporção amostral População Infinita Finita Margem de Erro Tamanho da Amostra

9 Intervalos de confiança (m, para s conhecido)
Christopher Souza: Teste de hipóteses Intervalos de confiança (m, para s conhecido) Requisitos: Amostra aleatória simples. Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino) Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral População Infinita Finita Margem de Erro Tamanho da Amostra

10 Intervalos de confiança (m, para s desconhecido)
Christopher Souza: Teste de hipóteses Intervalos de confiança (m, para s desconhecido) Requisitos: Amostra aleatória simples. Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino) Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral Margem de Erro População infinita População finita

11 Intervalos de confiança (s²)
Christopher Souza: Teste de hipóteses Intervalos de confiança (s²) Requisitos: Amostra aleatória simples. Distribuição normal mesmo para grandes amostras Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de variância esteja inserido no intervalo construído a partir da variância amostral Estima-se desvio amostral a partir da raiz da estimativa do parâmetro de variância

12 Christopher Souza: Teste de hipóteses
Região crítica Conjunto de todos os valores da estatística que podem nos fazer rejeitar a hipótese nula Definição a partir da escolha do valor crítico, assim como estimado no estudo de intervalos de confiança

13 Intervalos de confiança
Christopher Souza: Teste de hipóteses Intervalos de confiança “Estamos 95% confiantes de que o intervalo ± E contém o valor de q”

14 Christopher Souza: Teste de hipóteses
Valor P Probabilidade de obter, no mínimo, um valor da estatística teste tão extremo quanto o valor representado pela amostra Obtenção de magnitude do valor P permite a decisão de rejeitar ou não a hipótese nula sem definir a priori o valor crítico Rejeitar ou não a hipótese depende da ponderação sobre o que se considera crítico e sua relação com o valor P

15 Decisão e conclusões Teste da hipótese nula permite: Rejeitá-la
Christopher Souza: Teste de hipóteses Decisão e conclusões Teste da hipótese nula permite: Rejeitá-la Deixar de a rejeitar Se afirmativa original contiver igualdade e for rejeitada, pode se concluir que: Há evidência suficiente para garantir a rejeição de H0 Senão Não há evidência suficiente para garantir a rejeição de H0 Se afirmativa original não contiver igualdade e for rejeitada, pode se concluir que: Os dados amostrais apóiam a afirmativa de que H0 Não há evidência amostral suficiente para apoiar H0

16 Erros Tipo I (a) Tipo II (b)
Christopher Souza: Teste de hipóteses Erros Tipo I (a) Rejeitar H0 quando deveria ser aceita Tipo II (b) Não rejeitar H0 quando deveria ser rejeitada Controle de erros: a, b e n estão relacionados

17 Investigações sobre Erro do tipo I
Christopher Souza: Teste de hipóteses Investigações sobre Erro do tipo I Supondo: a = 0,05 s = 0,0625 n = 64 Ho: p=0,5 Tem-se: za/2=1,96 pa/2=0,5  0,1225 Se utilizarmos a=0,01 za/2=2,575 pa/2=0,5  0,1609 Se utilizarmos n=100 s = 0,05 za/2=1,96 pa/2=0,5  0,098

18 Investigações sobre Erro do tipo II
Christopher Souza: Teste de hipóteses Investigações sobre Erro do tipo II Supondo: a = 0,05 n = 64 s = 0,0625 Ho: p=0,5 pa/2=0,5  0,1225 H1: p=0,7 Tem-se: z1 = (0,5-0,1225-0,7) / 0,0625 = -5,16 z2= (0,5+0,1225-0,7)/ 0,0625 = -1,24 Pb=0,107488 Se utilizarmos H1: p=0,55 z1=(0,5-0,1225-0,55) / 0,0625 = -2,76 z2= (0,5+0,1225-0,55)/ 0,0625 = 1,16 Pb=0,877-0,0029=0,8741 Se utilizarmos n=100 z1 = (0,5-0,1225-0,7) / 0,05 = -6,45 z2= (0,5+0,1225-0,7)/ 0,05 = -1,55 Pb=0,0606

19 Investigações sobre Erro do tipo II
Christopher Souza: Teste de hipóteses Investigações sobre Erro do tipo II Supondo: a = 0,05 n = 64 s = 0,0625 Ho: p=0,5 pa/2=0,5  0,1225 H1: p=0,7 Tem-se: z1 = (0,5-0,1225-0,7) / 0,0625 = -5,16 z2= (0,5+0,1225-0,7)/ 0,0625 = -1,24 Pb=0,107488 Se utilizarmos a=0,01 z1=(0,5-0,1609-0,7) / 0,0625 = -5,77 z2= (0,5+0,1609-0,7)/ 0,0625 = -0,625 Pb=0,266

20 Resumo de investigações
Christopher Souza: Teste de hipóteses Resumo de investigações Quando n aumenta, os dois erros diminuem Quando a diminui, b aumenta Erro tipo II mais provável se H1 se aproxima de H0 Maior interesse em detectar grandes diferenças entre valores supostos (H0) e verdadeiros (H1) pa/2 n a b,p=0,7 b,p=0,55 0,5  0,1225 64 5 0,107488 0,8741 0,5  0,1609 1 0,266 0,5  0,098 100 0,0606

21 Christopher Souza: Teste de hipóteses
Poder de um teste Poder de apoiar uma hipótese alternativa verdadeira (1-b).

22 Testes de hipóteses sobre uma população
Christopher Souza: Teste de hipóteses Testes de hipóteses sobre uma população Método tradicional Valor P Comparação de estatística de teste, z, t ou c², com valor crítico para o nível de confiança estatística de teste é estimada como visto nas distribuições de estatísticas amostrais, normal para médias, t e c², Comparação de áreas sob as curvas estimadas a partir da estatística de teste e a região crítica

23 Testes de hipóteses sobre uma população
Christopher Souza: Teste de hipóteses Testes de hipóteses sobre uma população Método do intervalo de confiança Comparação de intervalos de confiança com valor crítico para o nível de significância Se valor crítico for inferior ao intervalo, rejeita-se a hipótese nula

24 Amostra não-normal Uma hipótese (a ser testada):
Christopher Souza: Teste de hipóteses Amostra não-normal Uma hipótese (a ser testada): (Dúvida:) Estatística de teste = valor obtido da amostra original Valor crítico estimado por percentil da distribuição bootstrap Método do intervalo de confiança não se aplica

25 Inferências sobre duas proporções
Christopher Souza: Teste de hipóteses Inferências sobre duas proporções Requisitos: Amostras aleatórias simples. Condições para a distribuição binomial satisfeitas. Haver pelo menos 5 sucessos e 5 fracassos em cada amostra, o que permite aproximar pela distribuição normal Proporção amostral combinada: Estatística de teste: Estimativa de intervalo de confiança

26 Inferências sobre duas médias Amostras independentes, s desconhecido
Christopher Souza: Teste de hipóteses Inferências sobre duas médias Amostras independentes, s desconhecido Requisitos: Amostras aleatórias simples. Distribuições normais ou n>30 Sugestão: Analise preliminarmente as amostras Para identificar valores críticos: Estatística de teste: Estimativa de intervalo de confiança

27 Inferências sobre duas médias Amostras independentes, s conhecido
Christopher Souza: Teste de hipóteses Inferências sobre duas médias Amostras independentes, s conhecido Requisitos: Amostras aleatórias simples. Distribuições normais ou n>30 Sugestão: Analise preliminarmente as amostras Estatística de teste: Estimativa de intervalo de confiança

28 Inferências sobre duas médias Amostras emparelhadas, s desconhecido
Christopher Souza: Teste de hipóteses Inferências sobre duas médias Amostras emparelhadas, s desconhecido Requisitos: Amostras aleatórias simples. Distribuições normais ou n>30 Sugestão: Analise preliminarmente as amostras Dados trabalhados como diferenças de valores emparelhados (d) Estatística de teste: Estimativa de intervalo de confiança

29 Inferências sobre duas variações
Christopher Souza: Teste de hipóteses Inferências sobre duas variações Requisitos: Amostras aleatórias simples. Populações independentes Distribuição normal std1>std2 Estatística de teste:

30 Inferências sobre duas variações
Christopher Souza: Teste de hipóteses Inferências sobre duas variações Método Conte Cinco Não requer distribuição normal Tamanhos amostrais iguais Se uma das amostras têm pelo menos cinco dos maiores desvios médios absolutos, sua população tem uma maior variância Teste de Levene-Brown- Forsythe Transforma-se cada conjunto de dados por meio da subtração de cada dado por sua mediana Em seguida, aplica-se o teste t para duas populações

31 Testes não-paramétricos
Christopher Souza: Teste de hipóteses Testes não-paramétricos Vantagens Desvantagens Não exigem que a distribuição seja normal São aplicáveis a dados categóricos (qualitativos) Cálculos mais simples Desperdiçam informação por tratarem dados de forma qualitativa Menor eficiência dos testes

32 Eficiência Teste não-paramétrico, população normal
Christopher Souza: Teste de hipóteses Eficiência Teste não-paramétrico, população normal Aplicação Paramétrico Não-paramétrico Eficiência Pares combinados t ou z Sinais 0,63 Postos com sinais de Wilcoxon 0,95 Duas amostras independentes Soma de postos de Wilcoxon Várias amostras independentes F Kruskal-Wallis Correlação Correlação linear Correlação de postos 0,91 Aleatoriedade - Seqüências

33 Christopher Souza: Teste de hipóteses
Postos Número atribuído a um item da amostra de acordo com sua posição na lista ordenada. Em caso de empates, aplica-se a média dos postos como valor de posto de cada item com igual valor Ex: x: [ ] xo: [ ] io: [ ,5 7,5] i: [7, ,5]

34 Testes não-paramétricos
Christopher Souza: Teste de hipóteses Testes não-paramétricos Sinais Proporção = 50% Igualdade de medianas (pareado) Mediana de uma população Soma de Postos de Wilcoxon (igualdade de medianas) Pareado Homogeneidade – Mann- Whitney Kruskal-Wallis – igualdade de medianas de três ou mais populações Sequências - Inflexões (Aleatoriedade) Wald-Wolfowitz (Independência) Correlação de Spearman Significância da correlação Estacionariedade da série Pettitt (Quebra de tendência) Grubbs e Beck (Outlier)

35 Teste dos sinais Dados nominais (Proporção = 50%)
Christopher Souza: Teste de hipóteses Teste dos sinais Dados nominais (Proporção = 50%) Requisitos Amostra aleatória Fundamento: teste de freqüência de sinais x = número de vezes que ocorreu sinal menos freqüente n = número de sinais positivos e negativos combinados Cuidado: Se dados contradizem H1 nem aplica teste, pois deixa- se de fazer sentido o teste Estatística de teste: p/ n≤25: x p/ n>25: Valor crítico: p/ n≤25, buscar x na tabela A- 7 do Triola p/ n>25, buscar z na tabela A- 2 do Triola

36 Teste dos sinais Pares combinados (igualdade de medianas)
Christopher Souza: Teste de hipóteses Teste dos sinais Pares combinados (igualdade de medianas) Procedimento: Subtrair cada valor da segunda variável pelo correspondente na primeira Posições de diferenças nulas são excluídas Série constituída apenas por sinais de diferenças Fundamento: Se medianas são iguais, número de sinais positivos e negativos são iguais Estatística de teste: p/ n≤25: x p/ n>25: Valor crítico: p/ n≤25, buscar x na tabela A- 7 do Triola p/ n>25, buscar z na tabela A- 2 do Triola

37 Teste dos sinais Mediana de uma população
Christopher Souza: Teste de hipóteses Teste dos sinais Mediana de uma população Procedimento: Subtrair cada valor da amostra do valor da mediana sugerida em H0 Posições de diferenças nulas são excluídas Série constituída apenas por sinais de diferenças Estatística de teste: p/ n≤25: x p/ n>25: Valor crítico: p/ n≤25, buscar x na tabela A- 7 do Triola p/ n>25, buscar z na tabela A- 2 do Triola

38 Soma de postos de Wilcoxon Diferença de amostras emparelhadas
Christopher Souza: Teste de hipóteses Soma de postos de Wilcoxon Diferença de amostras emparelhadas Requisito: Diferenças tem distribuição aproximadamente simétrica. a=soma de valores absolutos dos postos negativos das diferenças d não-nulas (51) b=soma dos postos positivos das diferenças d não-nulas (15) T=min(a,b) Estatística de teste: p/ n≤30: T (tab. A-8 para Ta) p/ n>30: Reg. Sec. d Postos Sinais 1903 2009 -106 10 -10 1935 1915 20 1 1910 2011 -101 9 -9 2496 2463 33 3 2108 2180 -72 8 -8 1961 1925 36 4 2060 2122 -62 6 -6 1444 1482 -38 5 -5 1612 1542 70 7 1316 1443 -127 11 -11 1511 1535 -24 2 -2

39 Soma de postos de Wilcoxon Duas amostras independentes
Christopher Souza: Teste de hipóteses Soma de postos de Wilcoxon Duas amostras independentes Homens Mulheres Posto IMC 11,5 23,8 19,6 2,5 9 23,2 14 24,6 17 26,2 29,1 22 10 23,5 25,2 15,5 13 24,5 21,4 5 6 21,5 22,0 7 24 31,4 27,5 19 18 26,4 33,5 25 8 22,7 20,6 4 20 27,8 29,9 23 21 28,1 17,7 1 R1=187 n1=13 R1=138 n1=12 Requisito: n>10 para cada amostra Trabalha também dados ordinais Equivale a Mann-Whitney R=soma dos postos de uma das amostras Estatística de teste: Onde:

40 Kruskal-Wallis Igualdade de medianas de três ou mais populações
Christopher Souza: Teste de hipóteses Kruskal-Wallis Igualdade de medianas de três ou mais populações Requisito: n>5 para cada amostra H ~ c²k-1 Equivale a ANOVA H grande para amostras muito diferentes (teste unilateral à direita) R=soma dos postos de uma das amostras Estatística de teste: Onde: Para corrigir H em função do número de empates, divida H por Onde (m = número de empates para cada valor): Valor crítico estimado via c²k-1

41 Sequências Aleatoriedade
Christopher Souza: Teste de hipóteses Sequências Aleatoriedade Sequência: sucessão de dados com mesma característica Ex.: valores se acima ou abaixo da mediana Trabalha também dados ordinais G=número de sequências na amostra Aleatoriedade definida se 0<<G<<n Estatística de teste: G, se n1<20, n2<20 e a=0,05 senão, onde n1 e n2 representam número de valores de mesma característica Para G como estatística de teste, compare com valores críticos apresentados na tabela A-10 do Triola

42 Wald-Wolfowitz Independência
Christopher Souza: Teste de hipóteses Wald-Wolfowitz Independência Séries aleatórias podem não ser independentes Influência de contribuições subterrâneas às vazões de rio resulta em maior dependência para intervalos menores de discretização Para tanto, calcula-se: Estatística de teste: onde

43 Significância de correlação de postos de Spearman
Christopher Souza: Teste de hipóteses Significância de correlação de postos de Spearman H0: rs=0 H1: rs≠0 Estatística de teste: Se não houver empate para um mesmo conjunto de dados: Se houver empate: Valores críticos: Se n≤30, use tabela A-9 do Triola Senão,

44 Christopher Souza: Teste de hipóteses
Estacionariedade Teste de correlação de Spearman entre postos de dados e suas respectivas posições na série

45 Teste de Grubbs e Beck Identificação de outliers
Christopher Souza: Teste de hipóteses Teste de Grubbs e Beck Identificação de outliers Limites para consideração de outliers são estimados por: Limite superior Limite inferior onde