Goodies* * Goodies related to animals, plants and numbers…

Apresentação em tema: "Goodies* * Goodies related to animals, plants and numbers…"— Transcrição da apresentação:

1 Goodies* * Goodies related to animals, plants and numbers…

2 Se não conhecem o xkcd.com… vale a pena explorar!

3 Se não conhecem o xkcd.com… vale a pena explorar!

4

5 Adicionei ao Fenix

6

7

8 Ecologia Numérica - Aula Teórica 11 – 22-10-2018

9 Teste t para 2 amostras testes de hipóteses a duas amostras
Pressupostos do teste t: 1 - Dados provenientes duma população normal 2 - Variâncias das populações das duas amostras homogéneas No entanto, o teste t é bastante robusto, i.e. a sua validade não é grandemente afectada por desvios moderados dos pressupostos.

10 Como decidir? testes de hipóteses a duas amostras
Avaliar se os pressupostos são cumpridos Não Sim Transformação dos dados Não Testes não paramétricos Testes paramétricos

11 Teste de Wilcoxon-Mann-Whitney
testes de hipóteses a duas amostras Teste para comparação de duas amostras: abordagem não-paramétrica Teste de Wilcoxon-Mann-Whitney Hipóteses: Soma das ordens da amostra 1 na amostra conjunta ordenada H0: amostras provenientes da mesma população H1: amostras não provenientes da mesma população Estatística de teste: 𝑈=𝑈 1 = 𝑛 1 𝑛 2 + 𝑛 1 ( 𝑛 1 +1) 2 − 𝑅 1 R1 = 𝑖=1 𝑛 1 𝑅 𝑖1 Dado que calcular a soma das ordens da amostra 1 ou 2 é uma decisão arbitrária, temos que calcular também o U’=U2=n1n2-U1

12 Teste de Wilcoxon-Mann-Whitney
testes de hipóteses a duas amostras Teste de Wilcoxon-Mann-Whitney Hipóteses: H0: amostras provenientes da mesma população H1: amostras não provenientes da mesma população Estatística de teste: 𝑈=𝑈 1 = 𝑛 1 𝑛 2 + 𝑛 1 ( 𝑛 1 +1) 2 − 𝑅 1 𝑈 ′ = 𝑈 2 = 𝑛 2 𝑛 1 + 𝑛 2 ( 𝑛 2 +1) 2 − 𝑅 2 = 𝑛 1 𝑛 2 −𝑈 R2 = 𝑖=1 𝑛 2 𝑅 21

13 Procedimento: Temos duas amostras, uma de X’s e outra de Y’s Obtemos a amostra conjunta XY=c(X,Y) Ordenar os valores da amostra conjunta XY R1= soma dos ranks da amostra 1 R2= soma dos ranks da amostra 2 Calcular U1 e U2 Comparar com a distribuição da estatística de teste sob H0 Tirar conclusões em função da significância escolhida e do P-value calculado com base na amostra

14 Teste de Wilcoxon-Mann-Whitney
testes de hipóteses a duas amostras Teste de Wilcoxon-Mann-Whitney Valor crítico: Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

15 amostra1=c(2.1,3.6,4.3,1.5,6.3,7.4) n1=length(amostra1) amostra2=c(3.2,4.2,1.3,2.2,0.9,5.1,2.8) n2=length(amostra2) dados=data.frame(valores=c(amostra1,amostra2),amostra=rep(1:2,times=c(n1,n2))) dados$rank=rank(dados$valores) dados #get test statistic U=n1*n2+(n1*(n1+1))/2-sum(dados$rank[dados$amostra==1]) Ulinha=n1*n2-U U;Ulinha #test wilcox.test(amostra1,amostra2) #p-value by hand #2 vezes a probabilidade de ser menor ou igual a U 2*pwilcox(U,m=n1, n=n2) #2 vezes a probabilidade de ser maior ou igual a ULinha #que é o mesmo que 2 vezes a P de ser maior que U linha-1 2*pwilcox(Ulinha-1,m=n1, n=n2,lower.tail = FALSE)

16

17

18 Testes para amostras emparelhadas
testes de hipóteses a duas amostras emparelhadas Testes para amostras emparelhadas e.g. comparação de observações não independents – 2 folhas em cada árvore, mão esquerda e mão direita, resultados em gémeos, etc… A B

19 Teste t para amostras emparelhadas
testes de hipóteses a duas amostras emparelhadas Teste t para amostras emparelhadas Hipóteses: Estatística de teste: H0: µd=0 H1: µd≠0 𝑠 𝑑 2 𝑛 di=X1i – X2i Valor crítico: Critério de decisão: Rejeitar H0 se: Não rejeitar H0, caso contrário

20 Teste de Wilcoxon para amostras emparelhadas
testes de hipóteses a duas amostras emparelhadas Teste de Wilcoxon para amostras emparelhadas Hipóteses: H0: d=0 H1: d≠0 Estatística de teste: * D*i = Xi – Yi Ri = ordem atribuída a Di (Di=| D*i |)

21 Teste de Wilcoxon para amostras emparelhadas
testes de hipóteses a duas amostras emparelhadas Teste de Wilcoxon para amostras emparelhadas Hipóteses: H0: d=0 H1: d≠0 Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

22 T+ = 8+7+2+4+1=22 T- =6+5+3=14 Xi Yi Di* Sign di 3.2 1.3 2.9 + 3.6 2.8
0.9 2.4 -0.8 - 2.1 1.9 0.2 4.2 3.7 0.5 5.4 6.1 -0.7 4.7 4.6 0.1 3.5 -0.3 di ri 2.9 8 0.9 7 0.8 6 0.2 2 0.5 4 0.7 5 0.1 1 0.3 3 T+ = =22 T- =6+5+3=14

23 X=c(3.2,3.7,2.4,2.1,4.2,5.4,4.7,3.2) Y=c(0.3,2.8,3.2,1.9,3.7,6.1,4.6,3.5) Di=X-Y signDi=sign(Di) ranks=rank(abs(Di)) Tplus=sum(ranks[signDi>0]) Tminus=sum(ranks[signDi<0]) Tplus;Tminus wilcox.test(x=X,y=Y,paired=TRUE) 2*psignrank(q=Tminus, n=8) Desafio: gerar uma função que mostra os 3 plots usuais para ver o resultado do teste e decide se rejeitamos ou não H0

24 testes de hipóteses a uma ou duas amostras (emparelhadas ou não)
Síntese Teste t Paramétrico (P) 1 amostra Teste Wilcoxon Não P (NP) Teste t P 2 amostras: Teste Mann-Whitney NP Teste t para amostras emparelhadas P 2 amostras emparelhadas: Teste Wilcoxon para amostras emparelhadas NP

25 Ecologia Numérica testes a mais de duas amostras
análise de variância e equivalente não paramétrico

26 Quais os testes mais correntes para situações de 3 ou mais amostras?
anova e equivalente não paramétrico Quais os testes mais correntes para situações de 3 ou mais amostras? Quais as condições para a sua aplicação? Como interpretar os seus resultados?

27 Testes a mais de duas amostras
anova e equivalente não paramétrico Testes a mais de duas amostras A B C D

28 Testes a mais de duas amostras
anova e equivalente não paramétrico Testes a mais de duas amostras A B C Testes de duas amostras: A vs B B vs C A vs C Porque não?

29 Testes a mais de duas amostras
anova e equivalente não paramétrico Testes a mais de duas amostras Testes a duas amostras: A vs B B vs C A vs C Para o conjunto das 3 hipóteses a probabilidade de correctamente não rejeitar todas as H0 seria 0.953 = 0.86 ou seja, α = 0.14 !!!! Porque não? Hipótese nula Aceitar Rejeitar Verdadeira Não há erro α Hipótese nula Falsa β Não há erro

30 A análise de variância (ANOVA)
anova e equivalente não paramétrico A análise de variância (ANOVA) H0: µA=µB=µC H1: As médias não são todas iguais Fontes de variação: Intra-amostra ou intra-grupos (erro) Entre-amostras ou entre-grupos

31 Fontes de variação: Total: Entre-grupos: Intra-grupos (erro):
anova e equivalente não paramétrico Fontes de variação: Somas dos quadrados Total: Entre-grupos: Intra-grupos (erro):

32 An example with 4 groups, 10 observations per group
set.seed(1234); n=10; ng=4; N=n*ng #truque para ter várias group=rep(paste0("G",1:ng),each=n) means=c(2.1,3.2,7.7,8.9) #gerar os dados ys=c(rnorm(n,mean=means[1]), rnorm(n,mean=means[2]), rnorm(n,mean=means[3]), rnorm(n,mean=means[4])) #media global estimada grandmean=mean(ys) #medias estimadas estmeans=tapply(X=ys, INDEX=group,FUN=mean)

33

34 SQTOTAL = SQGRUPOS + SQerro
anova e equivalente não paramétrico Fontes de variação: Somas dos quadrados SQTOTAL = SQGRUPOS + SQerro

35 anova e equivalente não paramétrico
Hipóteses: H0: µA=µB=µC H1: As médias não são todas iguais Estatística de teste: k - 1 N - k

36 SQTOTAL = SQGRUPOS + SQerro
anova e equivalente não paramétrico Fontes de variação: Soma dos quadrados SQTOTAL = SQGRUPOS + SQerro glTOTAL = glGRUPOS + glerro N - 1 = k N - k k é o número de grupos, N é o número total de observações

37 anova e equivalente não paramétrico
Estatística de teste: Valor crítico: Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

38 anova e equivalente não paramétrico
A distribuição F K=4 N=40

39 Rejeitamos H0 para qualquer nivel de significância!

40 Duas formas de fazer a mesma coisa (e uma preview sobre a relação entre modelos de regressão e análise de variância)

41 Pressupostos da ANOVA anova e equivalente não paramétrico
Os dados provêm duma população normal As variâncias são homogéneas No entanto, à semelhança do referido para o teste t, a análise de variância é bastante robusta, i.e. o seu desempenho não é profundamente afectado por desvios moderados dos pressupostos

42 hist(residuals(aov(ys~group)),main="Resíduos")

43 Pressupostos da ANOVA anova e equivalente não paramétrico
As amostras provêm de populações normais com variância igual Como verificar os pressupostos? O que fazer caso não sejam cumpridos?

44 anova e equivalente não paramétrico
Avaliar se os pressupostos são cumpridos Não Sim Transformação dos dados Não Testes não paramétricos Testes paramétricos

45 Teste de Kruskal-Wallis: abordagem não-paramétrica
anova e equivalente não paramétrico Teste de Kruskal-Wallis: abordagem não-paramétrica Hipóteses: H0: as amostras provêm da mesma população H1: as amostras não provêm da mesma população Estatística de teste: 𝐻= 12 𝑁(𝑁+1) 𝑖=1 𝑘 𝑛 𝑖 𝑟 𝑖. 2 −3(𝑁+1)

46 Teste de Kruskal-Wallis
anova e equivalente não paramétrico Teste de Kruskal-Wallis Quando há empates deve ser utilizado um factor de correcção: m=numero de empates ti = numero de observações empatadas no grupo i onde A estatística de teste deve ser corrigida do seguinte modo:

47 Teste de Kruskal-Wallis
anova e equivalente não paramétrico Teste de Kruskal-Wallis Estatística de teste: Valor crítico: sendo gl=k-1 (k=número de grupos) Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

48 Decisão: rejeitar H0 para os niveis usuais de significância

49 Procedimentos de teste a posteriori
anova e equivalente não paramétrico Procedimentos de teste a posteriori Quando a H0 é rejeitada numa hipótese envolvendo 3 ou mais amostras, não é sempre óbvio qual ou quais das amostras diferem das outras. Há, por isso, a necessidade de efectuar testes a posteriori de comparações múltiplas

50 Testes a posteriori ANOVA Teste de Kruskal-Wallis
anova e equivalente não paramétrico Testes a posteriori Teste de Tukey (tipo Tukey) Teste de Newman-Keuls Teste de Scheffé ANOVA Teste de Kruskal-Wallis Teste de Dunn

51 Teste de Tukey anova e equivalente não paramétrico
Estatística de teste: Valor crítico: Sendo gl=N-k (N=número total de observações; k=número de grupos) Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

52 Teste de Dunn anova e equivalente não paramétrico
Estatística de teste: onde Valor crítico: sendo k=número de grupos Critério de decisão: Rejeitar H0 se: Não rejeitar H0 caso contrário

53 R IMPLEMENTATIONS OF A POSTERIORI TESTS FOR MULTIPLE COMPARISONS

54 Teste de Tukey Apenas os grupos 3 e 4 parecem não ser diferentes entre si, o que faz sentido (ver gráfico)

55 Teste de Newman-Keuls

56 Teste de Scheffé

57 Teste de Dunn Less power, so actually can’t tell if Groups 1 and 2 are different!