Diretrizes para Desenvolvimento do Projeto

Apresentação em tema: "Diretrizes para Desenvolvimento do Projeto"— Transcrição da apresentação:

1 Diretrizes para Desenvolvimento do Projeto
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC 5723 Sistemas Operacionais Diretrizes para Desenvolvimento do Projeto Marcos José Santana Regina Helena Carlucci Santana Sarita Mazzini Bruschi

2 Roteiro da Aula Diretrizes para o Desenvolvimento do Projeto - 60 minutos Apresentação do cronograma – 10 minutos Análise dos exemplos de projetos desenvolvidos – 20 minutos Apresentação dos exemplos – 5 minutos por grupo – 40 minutos Discussão dos projetos a serem desenvolvidos – 30 minutos

3 Desenvolvimento de um Projeto
Objetivo: Desenvolver um projeto que envolva a avaliação de um sistema operacional ou de alguma característica de um sistema operacional por meio de um experimento O experimento deverá considerar diferentes possibilidades que serão comparadas O experimento deve conter uma coleta dados que deverão ser adequadamente analisados Deverá ser realizado um planejamento do experimento

4 Conteúdo Planejamento de Experimentos
Técnicas para Avaliação de Desempenho Análise de Resultados

5 Etapas a serem consideradas
1.  Estudar o sistema e definir os objetivos 2.  Determinar os serviços oferecidos pelo sistema 3.  Selecionar métricas de avaliação 4.  Determinar os parâmetros que afetam o desempenho do sistema 5.  Determinar o nível de detalhamento da análise 6.  Determinar a Técnica de Avaliação apropriada 7. Determinar modelo adequado 8.  Determinar a carga de trabalho característica  9.  Realizar a avaliação e obter os resultados 10.  Analisar e interpretar os resultados 11. Apresentar os resultados Planejamento de Experimento Técnica de Avaliação Análise dos Resultados

6 Conteúdo Planejamento de Experimentos Conceitos Básicos
Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

7 Planejamento de Experimento
Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos. Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos. Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc. Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

8 Planejamento de Experimentos
Objetivos Obter o máximo de informação com um número mínimo de experimentos Separar os efeitos de vários fatores no resultado observado Determinar o quão significante é o efeito de um fator no resultado observado.

9 Planejamento de Experimentos
Terminologia Variável de Resposta – Saída de um experimento Fatores – Variável que afeta as variáveis de resposta e que podem assumir diversas alternativas Níveis – Os valores que um determinado fator pode assumir Replicação – Repetição de todo ou de parte de um experimento Projeto - Determina o número o número de fatores, níveis e as combinações entre os níveis que serão considerados. Interação – Dois fatores interagem se o efeito de um depende do nível do outro

10 Planejamento de Experimentos
Variável de Resposta O que medir? ter informação o mais fiel possível sobre o comportamento de um sistema O que quero verificar?

11 Planejamento de Experimentos Terminologia – Exemplo
Considere a avaliação de um banco de dados Variáveis de Resposta (métricas): Tempo para recuperar uma informação Número de informações recuperadas por unidade de tempo Taxa de acerto ao cache

12 Planejamento de Experimentos
2. Definição dos Fatores e níveis Quatro fatores: Fator 1 – Tamanho do banco de dados Fator 2 – Quantidade de usuários Fator 3 – Quantidade de cache Fator 4 – Forma de armazenamento

13 Planejamento de Experimentos
2. Definição dos Fatores primários e níveis Fator 1 – Tamanho do banco de dados: 20 mil registros 1 milhão de registros 5 milhões de registros Fator 2 – Quantidade de usuários: 10 usuários 100 usuários 1000 usuários 10000 usuários

14 Planejamento de Experimentos
2. Definição dos Fatores primários e níveis Fator 3 – Quantidade de cache: 512K byte 1M byte 10 M byte Fator 4 – Forma de armazenamento: RAID – nível 10 com 5 discos RAID – nível 4 com 5 discos RAID – nível 5 com 5 discos

15 Conteúdo Planejamento de Experimentos Carga de trabalho
Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

16 Carga de Trabalho “Conjunto de todas as informações de entrada que um sistema recebe durante qualquer período de tempo determinado” [MENASCÉ, ALMEIDA, 2003] Muito importante no planejamento de capacidade e na avaliação de sistemas

17 Carga de Trabalho Determinar que tipo de caracteristica é importante ser representada Depende do objetivo da avaliação Nível de detalhe a ser considerado Utilizar as requisições mais freqüentes Considerar os vários tipos de requisições e suas freqüências Trace Verificar a representatividade da carga de trabalho Taxa de chegada Demanda por recurso Seqüência e demanda por diferentes recursos Atualização da carga de trabalho

18 Conteúdo Planejamento de Experimentos
Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

19 Modelos para Planejamento de Experimentos
Planejamento Simples Planejamento Fatorial completo Planejamento Fatorial parcial

20 Modelos para Planejamento de Experimentos
Planejamento Simples Iniciar com uma configuração inicial Fixar todos os fatores e variar um fator por vez Verificar que fator afeta o desempenho Fácil de ser implementado Não permite verificar a relação entre os fatores Estatisticamente não eficiente

21 Modelos para Planejamento de Experimentos
Planejamento Simples Para um experimento com K fatores e ni níveis no fator i, tem-se:

22 Modelos para Planejamento de Experimentos
Planejamento Simples Não recomendado Muito utilizado

23 Modelos para Planejamento de Experimentos
Planejamento Totalmente Fatorial Utiliza todas as combinações considerando todos os fatores e todos os níveis Para um experimento com K fatores e ni níveis no fator i, tem-se:

24 Modelos para Planejamento de Experimentos
Planejamento Totalmente Fatorial Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas Desvantagens Grande número de experimentos Alto custo para avaliação

25 Modelos para Planejamento de Experimentos
Formas para minimizar custos Reduzir o número de níveis de cada fator Altamente recomendada Reduzir o número de fatores Deve ser implementada com cuidado. Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a interação não existe ou é insignificante Mais rápido Obtém-se menos informações

26 Erros Comuns em Experimentos
Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

27 Conteúdo Planejamento de Experimentos
Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

28 Técnicas de Avaliação de Desempenho
Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Aferição Sistema Medições Dados 28

29 Técnicas de Avaliação de Desempenho
Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Modelagem Modelo Solução Métodos Analíticos Simulação Sistema 29

30 Conteúdo Planejamento de Experimentos
Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

31 Análise de Resultados - Introdução
Amostragem População Amostra Análise Descritiva Conclusões sobre a população Dados Organizados Inferência

32 Análise de Resultados Amostragem População Análise Descritiva
Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Amostragem População Amostra Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Análise Descritiva Conclusões sobre o Sistema Real Conclusões sobre a população Dados Organizados Inferência

33 Análise de Resultados Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?

34 Como analisar os diferentes resultados de uma avaliação?
Análise de Resultados Como analisar os diferentes resultados de uma avaliação? Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança Deve-se considerar diversos resultados provenientes de diferentes execuções Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes Para aferição: considerar diversas medidas

35 O que é o Intervalo de confiança?
Análise de Resultados O que é o Intervalo de confiança? Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )%  = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

36 O que significa Intervalo de confiança?
Análise de Resultados O que significa Intervalo de confiança? Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Yi) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por /2

37 Como determinar o Intervalo de confiança?
Análise de Resultados Como determinar o Intervalo de confiança? Ordenar os valores obtidos…. Ou então… Utiliza-se o Teorema do Limite Central e a Tabela t-student Excel, R, Minitab, SAS, etc….

38 Comparação entre dois experimentos
Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

39 Comparação entre dois experimentos
Teste visual Caso 1 Caso 2 Caso 3 A B A B A B Caso 1 – ICs não sobrepostos  A > B Caso 2 – Média de um está inserida no IC do outro  A = B Caso 3 – ICs sobrepostos mas média está fora  necessário outro teste

40 Comparação entre dois experimentos
Área de Estatística oferece grande número de testes para comparação entre experimentos: Teste t-student – para comparar a média de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar média de três ou mais amostras Chi-Quadrado e Poisson - para valores não contínuos

41 Procedimento para análise de resultados
Definir o objetivo do experimento Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Escolher os fatores e níveis adequadamente Realizar o experimento quantas vezes forem necessárias Pensar na melhor forma de apresentar os dados Fazer o tratamento estatístico adequado para os resultados Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

42 Procedimento para análise de resultados
Definir o objetivo do projeto/experimento/sistema Tudo dependerá do objetivo

43 Procedimento para análise de resultados
Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

44 Procedimento para análise de resultados
3. Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

45 Procedimento para análise de resultados
4. Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

46 Procedimento para análise de resultados
5. Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

47 Procedimento para análise de resultados
6. Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

48 Procedimento para análise de resultados
7. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos