A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

TAD - PUC-Rio, 1999 Projeto de Experimentos. TAD - PUC-Rio, 1999 Comparação de 2 Tratamentos Experimentos comparativos simples Técnicas: uso de conjuntos.

Apresentações semelhantes


Apresentação em tema: "TAD - PUC-Rio, 1999 Projeto de Experimentos. TAD - PUC-Rio, 1999 Comparação de 2 Tratamentos Experimentos comparativos simples Técnicas: uso de conjuntos."— Transcrição da apresentação:

1 TAD - PUC-Rio, 1999 Projeto de Experimentos

2 TAD - PUC-Rio, 1999 Comparação de 2 Tratamentos Experimentos comparativos simples Técnicas: uso de conjuntos de referência externa randomização e blocagem testes de significância e intervalos de confiança Exemplos: fertilizantes, máquinas, processos industriais algoritmos, sistemas, CPUs

3 TAD - PUC-Rio, 1999 Uso de Distribuições de Referência Externas Deseja-se avaliar se um método modificado gerou melhores resultados que o método tradicional Dispõe-se de um conjunto de dados grande sobre o método tradicional

4 TAD - PUC-Rio, 1999 Exemplo Algoritmo A já é rotineiramente executado para tarefa Z e surge a proposta de usar algoritmo B 10 execuções de A: –média de tempo de execução t A =84.24s 10 execuções deB: –média de tempo de execução t B =82.94s

5 TAD - PUC-Rio, 1999 Exemplo Por conta de variações nos tempos individuais não há evidência suficiente para dizer que B é melhor do que A Erro experimental! algoritmo não determinístico timer com pouca acurácia ou resolução interferência de outros programas competição por banda alocação de recursos aleatória

6 TAD - PUC-Rio, 1999 Populações Conceituais Considerando as 2 populações conceituais: observações do tempo de execução de A observações do tempo de execução de B queremos saber se a média da população 1 é maior do que a média da população 2

7 TAD - PUC-Rio, 1999 Hipótese Nula Supomos que não existe diferença entre as médias: A = B e verificamos a chance da diferença observada ter ocorrido por acaso. no exemplo: Por acaso existem dados sobre 210 execuções anteriores de A...

8 TAD - PUC-Rio, (!) observações de A tempo execução

9 TAD - PUC-Rio, 1999 para testar a hipótese nula: quantas vezes a diferença entre dois grupos sucessivos de 10 observações diferiu por mais de 1,3 seg? calcula-se as 191 diferenças entre conjuntos adjacentes de 10 observações...

10 TAD - PUC-Rio, 1999 Distribuição das diferenças v v 1,3 -2,0 -1,0 0 1,0

11 TAD - PUC-Rio, 1999 comparação com a distribuição de referência Em apenas 9 casos as diferenças excedem 1,3 9 em 191: A probabilidade de cair em uma diferença de 1,3 pode ser aproximada por 9/191=0,047 Diz-se que a diferença é significativa estatisticamente com nível de probabilidade 0,047

12 TAD - PUC-Rio, 1999 conclusões A hipótese nula fica desacreditada... Parece que o algoritmo B é melhor do que A...

13 TAD - PUC-Rio, 1999 outro exemplo: diagnóstico de pacientes Dr A. afirma que pode reconhecer que pessoa tem doença D olhando sua língua, método muito mais barato que o exame convencional. Desejamos fazer um teste para saber se ele está meramente adivinhando ou se ele realmente consegue diagnosticar D

14 TAD - PUC-Rio, 1999 Teste realizado Dr A. examina 4 grupos de 4 pacientes; em cada grupo 1 paciente tem D Se ele comete um erro em algum grupo, o experimento acaba; conclui-se que ele está adivinhando Se ele completa os 4 sem nenhum erro, o experimento acaba e conclui-se que ele não está meramente adivinhando.

15 TAD - PUC-Rio, 1999 interpretação - se ele adivinha: 1 Pr(parada no 1 o ): 3/4 2 Pr(parada no 2 o ): 1/4*3/4=3/16 3 Pr(parada no 3 o ): 1/4*1/4*3/4=3/64 4 Pr(falha no 4 o ): 1/4*1/4*1/4*3/4=3/ /256 5 Pr(sucesso): 1/4*1/4*1/4*1/4=1/256 chance de rejeitar a hipótese de advinhação e ela ser correta: 1/256

16 TAD - PUC-Rio, 1999 Jargão região de rejeição (evento 5): região crítica tamanho da região crítica associada ao nível de significância nível de significância: chance de rejeitar uma hipótese verdadeira O aumento da região crítica aumenta a chance de erroneamente rejeitarmos uma hipótese verdadeira Fala-se em níveis de significância mais altos quando as regiões críticas são menores!

17 TAD - PUC-Rio, 1999 testes de hipótese hipóteses nunca podem ser provadas ou negadas em termos absolutos rejeição: Ou a hipótese está errada, ou em nosso experimento observamos um resultado que é improvável sob esta hipótese e mais provável se outra hipótese for verdadeira; o nível de improbabilidade é indicado pelo nível de significância

18 TAD - PUC-Rio, 1999 dificuldades O médico pode ter algum nível de acerto sem que consiga acertar sempre… por exemplo, em cada 3 grupos de 4 ele acerta 2 vezes P(sucesso)=2/3*2/3*2/3*2/3=16/81 P(falha)=65/81 em 65 de 81 experimentos, concluiríamos que ele diagnostica em 1/4 dos casos (adiv.) quando de fato diagnostica em 2/3!

19 TAD - PUC-Rio, 1999 testes de hipótese aceitação deve ser encarada como não- rejeição! –não existe evidência suficiente de que hipótese seja falsa! mais interessante seria poder estimar a probabilidade p de acerto do diagnóstico –veremos depois em intervalos de confiança

20 TAD - PUC-Rio, 1999 algoritmos A e B - outra forma Sob certas condições: (y - )/s(n) 1/2 tem uma distribuição t com l graus de liberdade –y tem distribuição normal com média –s, com l graus de liberdade, é calculado a partir de observações normal e independentemente distribuídas

21 TAD - PUC-Rio, 1999 Distribuição de referência externa com base na distribuição t Podemos comparar sequências de 10 observações disjuntas e considerar que as diferenças entre elas terão uma distribuição normal...

22 TAD - PUC-Rio, 1999 Diferenças y1y1 y2y2 yAyA yB-yB- yAyA yByB 84,24 85,54 1,3 y1y1 y2-y2- variância das diferenças s 2 = 0,36 desvio padrão s = 0,6 hipótese: diferenças seguem distribuição normal com média 0

23 TAD - PUC-Rio, 1999 hipótese nula Como todas as observações usaram o mesmo algoritmo A, podemos assumir que a média da população (y 2 -y 1 ) é 0 Podemos calcular a variância da amostra: s 2 = ((-0,43-0) 2 + (0,43-0) (-0,17-0) 2 ) / 10 = 0,36 e o desvio padrão s=0,6

24 TAD - PUC-Rio, 1999 hipótese nula No experimento com A e B, (y B -y A ) = 1,3 t = (1,3 - 0)/0,6 = 2,17 Podemos usar a tabela da distribuição t com 10 graus de liberdade para interpolar e concluir que P(t>2,17)=0,028

25 TAD - PUC-Rio, 1999 problema: normalmente não temos uma massa de dados para formar uma distribuição de referência

26 TAD - PUC-Rio, 1999 Amostras Aleatórias É comum assumirmos que um conjunto de dados é uma amostra aletória da população conceitual de todas as observações possíveis. Ao testar a hipótese nula, estamos testando se o conjunto de observações (20 no caso) pode ser explicado como uma amostra aleatória de uma única população comum.

27 TAD - PUC-Rio, 1999 com amostras aleatórias... os valores de y são distribuidos de forma independente em torno das médias: –os erros y 11 - A, y 12 - A,...,y 21 - B, y 22 - B,..., variam independentemente. A distribuição da média y tem propriedades especiais: –E(y) = –V(y) = 2 /n

28 TAD - PUC-Rio, 1999 interpretação Suponha que uma urna contém um número muito grande de bilhetes brancos, cada um com um valor numérico (uma observação y) com média e variância 2. –aleatoriamente tiramos uma amostra de 10 bilhetes –calculamos a média e escrevemos em um bilhete azul –colocamos o bilhete azul em outra urna

29 TAD - PUC-Rio, 1999 interpretação Os bilhetes da urna azul terão uma distribuição com média e variância 2 /n. –A distribuição original não precisa ser normal –A nova distribuição será mais aproximadamente normal...

30 TAD - PUC-Rio, 1999 para amostras grandes y como estimador de s 2 como estimador de 2 –s 2 tem valor médio 2 e varia em torno desse valor com desvio padrão 1/n 1/2

31 TAD - PUC-Rio, 1999 voltando ao exemplo Suponha que os dois conjuntos de 10 observações são amostras aleatórias –vamos assumir que os algoritmos A e B dão origem a distribuições com o mesmo formato (e mesma variância***) e médias possivelmente diferentes a e b.

32 TAD - PUC-Rio, 1999 cálculos –variâncias V(y A ) = 2 /n A V(y B ) = 2 n B V(y B -y A ) = 2 /n A + 2 n B = 2 (1/n A + 1/n B ) –supondo a distribuição de y normal... z = ((y B -y A ) - ( B - A ))/ (1/n A + 1/n B ) 1/2 teria uma distribuição normal unitária –mas não temos !

33 TAD - PUC-Rio, 1999 referência externa Podemos usar a coleção de 210 observações, para a qual o desvio padrão é 2,88, como o valor do desvio padrão das populações amostradas z = 1,3 - ( B - A )/1,29 para a hipótese nula: z = 1,3/1,29 = 1,01 P(z>1,01) (consultando a tabela!) = 0,156

34 TAD - PUC-Rio, 1999 o que mudou: aqui estamos usando a hipótese de amostragem aleatória para a distribuição das diferenças, mas ainda estamos dependendo da referência externa para calcular a variância!

35 TAD - PUC-Rio, 1999 amostra de uma população normal Se a amostra é tirada de uma população com distribuição normal com média e variância 2 : 1 A distribuição de y também é normal 2 A variância da amostra, s 2, tem uma distribuição chi-quadrada. 3 A quantidade tem distribuição t com (n-1) graus de liberdade (n é o tamanho da amostra) (y - ) s(n) 1/2

36 TAD - PUC-Rio, 1999 população normal importância do terceiro resultado: –O desvio (y - ) pode ser julgado em relação a uma estimativa do desvio padrão de y, s(n) 1/2, obtida internamente da amostra

37 TAD - PUC-Rio, 1999 população com distribuição normal considerando que as diferenças tenham distribuição normal V(y B -y A ) = 2 /n A + 2 n B = 2 (1/n A + 1/n B ) desvio padrão: (1/n A + 1/n B ) 1/ 2 então (tínhamos que (y- s(n) 1/2 seguia distribuição t) (y B -y A ) - (0)/s(1/n A + 1/n B ) 1/ 2 segue distribuição t

38 TAD - PUC-Rio, 1999 Contas (y B -y A ) = 1,3 s 2 =[ Soma (y A -y A ) 2 + Soma (y B -y B ) 2 ]/ (n A +n B -2)=10,87 t = 1,3/1,47 = 0,88 P(t>0,88)= (interpolação!) 0,195

39 TAD - PUC-Rio, 1999 Randomização e Blocagem precauções no projeto do experimento –randomização garante validade de inferências –blocagem elimina fontes de variação

40 TAD - PUC-Rio, 1999 exemplo de randomização Jardineiro quer testar fertilizantes A e B para plantas de tomates… B é fertilizante novo Ele tem 11 lotes disponíveis, e resolve tratar 6 deles com B e 5 com A

41 TAD - PUC-Rio, 1999 Randomização

42 TAD - PUC-Rio, 1999 Randomização Algum método aleatório é usado para escolher a ordem em que os experimentos com A e B serão realizados Poderíamos comparar a diferença das médias com todas as diferenças obtidas por diferentes atribuições de 5 A e 6 B a essas colunas combinação de 11 5 a 5 (ou 6 a 6) = 462

43 TAD - PUC-Rio, 1999 distribuição randômica

44 TAD - PUC-Rio, 1999 distribuição das diferenças das médias 1,69 33% não há razão para duvidar da hipótese nula!

45 TAD - PUC-Rio, 1999 Randomização Com amostras aleatórias de uma população com distribuição normal, poderíamos comparar a quantidade ((y B -y A ) - ( B - A ))/s 1/n A + 1/n B ) 1/2 com a distribuição t com n A + n B - 2 graus de liberdade se randomizarmos o experimento, podemos usar a distribuição t como aproximação para a distribuição randomizada

46 TAD - PUC-Rio, 1999 Comparação em Pares: exemplo experimento com materiais diferentes de solado 10 pessoas usando materiais diferentes em cada sapato

47 TAD - PUC-Rio, 1999 uso da diferença Usando a diferença de desgaste entre os 2 sapatos, eliminamos a variação entre 2 meninos

48 TAD - PUC-Rio, 1999 Experimento objetivo é saber se o material B, mais barato, resulta ou não em maior desgaste –randomização: 10 lançamentos de moeda determinaram se o material B deveria ser usado no sapato direito ou esquerdo Ca Ca Co Ca Co Ca Ca Ca Co Ca 0,8 0,6 0,3 -0,1 1,1 -0,2 0,3 0,5 0,3 média: 0,41

49 TAD - PUC-Rio, 1999 distribuição de randomização Sob a hipótese nula, de não haver diferença entre A e B, o fato de colocar no sapato esq. ou direito não faria diferença alguma nos resultados; apenas afetaria o sinal da diferença. Os 10 lançamentos de moedas poderiam dar 1024 resultados diferentes: –m = (+/- 0,8 +/- 0,6... +/- 0,3)/10

50 TAD - PUC-Rio, 1999 randomização - resultados Apenas 3 das possíveis somas dão valores maiores que 0,41. 4 dão exatamente 0,41 considerando metade dos empates: 5/1024=0,005 (0,5%) aumento de desgaste é altamente significativo estatisticamente!

51 TAD - PUC-Rio, 1999 usando a distribuição t (d - )/s d /(n) 1/2 tem distribuição t com (n-1) graus de liberdade d = 0,41 s d 2 = Soma (d-d) 2 /((n-1) = 0,149 s d = 0,386 s d /(n) 1/2 =0,386/(10) 1/2 =0,122 (d - )/s d /(n) 1/2 = (0,41-0)/0,122 = 3,4 Pr(t>3,4) com 9 graus de liberdade 0,004 compatível com resultado anterior!

52 TAD - PUC-Rio, 1999 outros exemplos de pares Comparação da percepção visual de objetos aparecendo à esquerda e à direita. comparação de tempos de comunicação com diferentes mecanismos –uso de diversos programas, cada um com os dois mecanismos se não há como controlar a carga externa –poderíamos executar os algoritmos A e B simultaneamente, e considerar os pares


Carregar ppt "TAD - PUC-Rio, 1999 Projeto de Experimentos. TAD - PUC-Rio, 1999 Comparação de 2 Tratamentos Experimentos comparativos simples Técnicas: uso de conjuntos."

Apresentações semelhantes


Anúncios Google