A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação.

Apresentações semelhantes


Apresentação em tema: "Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação."— Transcrição da apresentação:

1 Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos José Santana Regina Helena Carlucci Santana Sarita Mazzini Bruschi SSC 5723 Sistemas Operacionais

2 Roteiro da Aula 1. Diretrizes para o Desenvolvimento do Projeto - 60 minutos 2. Apresentação do cronograma – 10 minutos 3. Análise dos exemplos de projetos desenvolvidos – 20 minutos 4. Apresentação dos exemplos – 5 minutos por grupo – 40 minutos 5. Discussão dos projetos a serem desenvolvidos – 30 minutos

3 Desenvolvimento de um Projeto Objetivo: Desenvolver um projeto que envolva a avaliação de um sistema operacional ou de alguma característica de um sistema operacional por meio de um experimento O experimento deverá considerar diferentes possibilidades que serão comparadas O experimento deve conter uma coleta dados que deverão ser adequadamente analisados Deverá ser realizado um planejamento do experimento

4 Conteúdo 1. Planejamento de Experimentos 2. Técnicas para Avaliação de Desempenho 3. Análise de Resultados

5 Etapas a serem consideradas 1. Estudar o sistema e definir os objetivos 2. Determinar os serviços oferecidos pelo sistema 3. Selecionar métricas de avaliação 4. Determinar os parâmetros que afetam o desempenho do sistema 5. Determinar o nível de detalhamento da análise 6. Determinar a Técnica de Avaliação apropriada 7. Determinar modelo adequado 8. Determinar a carga de trabalho característica 9. Realizar a avaliação e obter os resultados 10. Analisar e interpretar os resultados 11. Apresentar os resultados Planejamento de Experimento Análise dos Resultados Técnica de Avaliação

6 Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

7 Planejamento de Experimento Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos. Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos. Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis, tratamento de replicações, etc. Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

8 Objetivos Obter o máximo de informação com um número mínimo de experimentos Separar os efeitos de vários fatores no resultado observado Determinar o quão significante é o efeito de um fator no resultado observado. Planejamento de Experimentos

9 Terminologia Variável de Resposta – Saída de um experimento Fatores – Variável que afeta as variáveis de resposta e que podem assumir diversas alternativas Níveis – Os valores que um determinado fator pode assumir Replicação – Repetição de todo ou de parte de um experimento Projeto - Determina o número o número de fatores, níveis e as combinações entre os níveis que serão considerados. Interação – Dois fatores interagem se o efeito de um depende do nível do outro Planejamento de Experimentos

10 Variável de Resposta O que medir? ter informação o mais fiel possível sobre o comportamento de um sistema O que quero verificar? Planejamento de Experimentos

11 Terminologia – Exemplo Considere a avaliação de um banco de dados 1.Variáveis de Resposta (métricas): Planejamento de Experimentos Tempo para recuperar uma informação Número de informações recuperadas por unidade de tempo Taxa de acerto ao cache

12 Quatro fatores: Fator 1 – Tamanho do banco de dados Fator 2 – Quantidade de usuários Fator 3 – Quantidade de cache Fator 4 – Forma de armazenamento Planejamento de Experimentos 2. Definição dos Fatores e níveis

13 Fator 1 – Tamanho do banco de dados: 20 mil registros 1 milhão de registros 5 milhões de registros Fator 2 – Quantidade de usuários: 10 usuários 100 usuários 1000 usuários usuários Planejamento de Experimentos 2. Definição dos Fatores primários e níveis

14 Fator 3 – Quantidade de cache: 512K byte 1M byte 10 M byte Fator 4 – Forma de armazenamento: RAID – nível 10 com 5 discos RAID – nível 4 com 5 discos RAID – nível 5 com 5 discos Planejamento de Experimentos 2. Definição dos Fatores primários e níveis

15 Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

16 Carga de Trabalho Conjunto de todas as informações de entrada que um sistema recebe durante qualquer período de tempo determinado [MENASCÉ, ALMEIDA, 2003] Muito importante no planejamento de capacidade e na avaliação de sistemas

17 Carga de Trabalho 1. Determinar que tipo de caracteristica é importante ser representada Depende do objetivo da avaliação 2. Nível de detalhe a ser considerado Utilizar as requisições mais freqüentes Considerar os vários tipos de requisições e suas freqüências Trace 3. Verificar a representatividade da carga de trabalho Taxa de chegada Demanda por recurso Seqüência e demanda por diferentes recursos 4. Atualização da carga de trabalho

18 Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

19 Planejamento Simples Planejamento Fatorial completo Planejamento Fatorial parcial Modelos para Planejamento de Experimentos

20 Planejamento Simples Iniciar com uma configuração inicial Fixar todos os fatores e variar um fator por vez Verificar que fator afeta o desempenho Fácil de ser implementado Não permite verificar a relação entre os fatores Estatisticamente não eficiente Modelos para Planejamento de Experimentos

21 Planejamento Simples Para um experimento com K fatores e n i níveis no fator i, tem-se: Modelos para Planejamento de Experimentos

22 Planejamento Simples Não recomendado Muito utilizado Modelos para Planejamento de Experimentos

23 Planejamento Totalmente Fatorial Utiliza todas as combinações considerando todos os fatores e todos os níveis Para um experimento com K fatores e n i níveis no fator i, tem-se: Modelos para Planejamento de Experimentos

24 Planejamento Totalmente Fatorial Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas Desvantagens Grande número de experimentos Alto custo para avaliação Modelos para Planejamento de Experimentos

25 Formas para minimizar custos Reduzir o número de níveis de cada fator Altamente recomendada Reduzir o número de fatores Deve ser implementada com cuidado. Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a interação não existe ou é insignificante Mais rápido Obtém-se menos informações Modelos para Planejamento de Experimentos

26 Erros Comuns em Experimentos Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

27 Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

28 Técnicas de Avaliação de Desempenho SistemaMedições Dados Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Aferição

29 Técnicas de Avaliação de Desempenho Modelo Solução Métodos Analíticos Simulação Sistema Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Modelagem

30 Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

31 Análise de Resultados - Introdução População Amostragem Amostra Dados Organizados Conclusões sobre a população Inferência Análise Descritiva

32 Análise de Resultados População População Amostragem Amostra Dados Organizados Conclusões sobre a população Inferência Análise Descritiva Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Conclusões sobre o Sistema Real

33 Análise de Resultados Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?

34 Análise de Resultados Como analisar os diferentes resultados de uma avaliação? Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança Deve-se considerar diversos resultados provenientes de diferentes execuções Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes Para aferição: considerar diversas medidas

35 Análise de Resultados O que é o Intervalo de confiança? Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )% = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

36 Análise de Resultados O que significa Intervalo de confiança? Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Y i ) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por/2

37 Análise de Resultados Como determinar o Intervalo de confiança? Ordenar os valores obtidos…. Ou então… Utiliza-se o Teorema do Limite Central e a Tabela t-student Ou então… Excel, R, Minitab, SAS, etc….

38 Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

39 Comparação entre dois experimentos Teste visual A B Caso 1 A B A B Caso 2Caso 3 Caso 1 – ICs não sobrepostos A > B Caso 2 – Média de um está inserida no IC do outro A = B Caso 3 – ICs sobrepostos mas média está fora necessário outro teste

40 Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: Teste t-student – para comparar a média de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar média de três ou mais amostras Chi-Quadrado e Poisson - para valores não contínuos

41 Procedimento para análise de resultados 1. Definir o objetivo do experimento 2. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo 3. Escolher os fatores e níveis adequadamente 4. Realizar o experimento quantas vezes forem necessárias 5. Pensar na melhor forma de apresentar os dados 6. Fazer o tratamento estatístico adequado para os resultados 7. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

42 Procedimento para análise de resultados 1. Definir o objetivo do projeto/experimento/sistema Tudo dependerá do objetivo

43 Procedimento para análise de resultados 2. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

44 Procedimento para análise de resultados 3. Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

45 Procedimento para análise de resultados 4. Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

46 Procedimento para análise de resultados 5. Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

47 Procedimento para análise de resultados 6. Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

48 Procedimento para análise de resultados 7. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos


Carregar ppt "Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação."

Apresentações semelhantes


Anúncios Google