© 2003, Carla Ellis Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 Virgílio A. F. Almeida DCC-UFMG 2005.

Apresentação em tema: "© 2003, Carla Ellis Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 Virgílio A. F. Almeida DCC-UFMG 2005."— Transcrição da apresentação:

1 © 2003, Carla Ellis Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 Virgílio A. F. Almeida DCC-UFMG 2005

2 Strong Inference J. Pratt, SCIENCE, October 1964 O progresso na ciência avança com a exclusão de hipóteses alternativas. Os experimentos devem ser projetados para refutar/excluir hipóteses. –Uma hipótese que não é sujeita a ser verificada falsa não leva a nenhum lugar significativo. –Qualquer conclusão que não é uma exclusão é insegura.

3 Strong Inference J. Pratt, SCIENCE, October 1964 Quão rápido pode evoluir a pesquisa numa área? Biology, with its vast informational detail and complexity is a high-information field, where years and decades can easily be wasted on the usual type of low-information observations or experiments if one does not think carefully in advance about the most important and conclusive experiments would be.

4 Passos 1.Identificar o problema ou fenômeno observado. 2.Delinear hipótese alternativas. 3.Delinear experimentos com resultados alternativos, que podem refutar e excluir hipóteses. 4.Executar experimentos para obter resultados limpos. 5.Repetir com sub-hipóteses ou hipóteses subsequentes.

5 Passos 1.Identificar o problema ou fenômeno observado. 2.Delinear hipótese alternativas. 3.Delinear experimentos com resultados alternativos, que podem refutar/excluir hipótese. 4.Executar experimentos para obter resultados limpos. 5.Repetir com sub-hipóteses. Desafio intelectual – fazer isso eficientemente

6 Árvore Lógica Nossa conclusão X deve ser válida se a hipótese alternativa 1, hipótese alternativa 2, … alternativa n Nós descrevemos experimentos pela eliminação de alternativas. Nós prosseguimos pelos caminhos não eliminados. Problema Alt 1 Alt n … Alt1a Alt1b

7 Múltiplas Hipóteses Pode-se ficar emocionalmente ligado a uma única hipótese. –A tentativa de demonstrá-la correta, pode fazer os fatos encaixarem na teoria. Múltiplas hipóteses de trabalho tornam a pesquisa uma competição entre idéias e não entre projetos pessoais –Fique atento ao aspecto da polarização de idéias e hipóteses.

8 Atividades de Suporte na CiênciaAtividades de Suporte na Ciência Pesquisas (ex.: bibliográficas) e taxonomias Desenvolvimento de uma infraestrutura experimental Medições, planilhas e tabelas (ex: estudos de popularidade de objetos num servidor) Modelos teóricos e abstratos, que são úteis se contribuem para a cadeia de descobertas e não para um fim em si mesmos.

9 Strong Inference J. Pratt, SCIENCE, October 1964 We measure, we define, we compute, we analyze, bu we do not exclude. And this is not the way to use our minds most effectively or to make the fastest progress in solving scientific questions. The mathematical box is a beautiful way of wrapping up a problem, but it will not hold the phenomena unless they have been caught in a logical box to begin with.

10 As Questões Quais experimentos podem refutar suas hipóteses? Quais hipóteses seus experimentos refutam? Quão simples e elegante pode ser o experimento a se projetar? –Aplique essas questões ao modo de pensar e fazer pesquisa.

11 Crítica Strong Inference assumes all science has distinct and finite answers and solutions to problems. It ignores the preliminary steps of gathering information about the problems. Inquiry and inference will fail if it is based on inadequate or incorrect background information about the question at hand. There are some theories that you cannot completely eliminate because some contributing factors are interrelated. (especially in behavior sciences) Open-ended questions are common in young sciences or at the cutting edge of established sciences.

12 Aplicando a Strong Inference a Pesquisa em Ciência da Computação Esta não é nossa cultura: –Minha é melhor que a sua e experimentos que mostram isso afirmativamente (não fazendo esforço para mostrar o contrário) –Sem hipóteses – afirmações que não podem ser mostradas sua falsidade. Este sistema faz aquilo para o qual foi projetado. E aí? –Resultados negativos são difíceis de publicar. –O ponto é a efetividade científica, comparado a outras áreas do conhecimento (ex: física, bilogia, etc)

13 Um exemplo Wolman et al, ``On the scale and performance of cooperative web proxy caching, SOSP 99 Questão: Devem múltiplos proxies cooperarem para aumentar a população de clientes, aumentar a taxa de hits e reduzir a latência?

14 Árvore Lógica A Cooperação entre web caching funciona? Aumenta o hit ratio, no Caso ideal Diminui a latência do Objeto no caso ideal … Aumenta hit ratio, no caso real

15 Experimentos Traces/logs da UW e Microsoft Simulação: –Tamanho infinito de cache (não há misses por capacidade) –Proxy único (vê todas informações, sem overhead) –2 casos Caching Ideal – todos objetos, independente se são passíveis de cache ( cacheability) Respeitando a ``cacheability Upper bound na performance

16 Além do joelho, não há aumento significativo proxy único suficiente aqui

17 Pequeno impacto na latencia nas grandes populações

18 Discussão O que voce pensa que os pesquisadores em computação fazem errado? Por que esse enfoque não se apresenta como natural para nós, da CC? Como podemos melhorar? A pesquisa em sistemas se tornará diferente se ``strong inference for aplicada?

19 Próxima Aula Exercício em Strong Inference Esoclha um paper de sua área que é importante e que voce já estudou. Revisite esse paper e analise sua parte experimental em termos de hipóteses e experimentos que excluem, como a árvore lógica. O trabalho pode ser feito em grupos de até 4 e serão apresentados em 10 minutos na aula.