Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação SSC 5723 Sistemas Operacionais Diretrizes para Desenvolvimento do Projeto Marcos José Santana Regina Helena Carlucci Santana Sarita Mazzini Bruschi

Roteiro da Aula Diretrizes para o Desenvolvimento do Projeto - 60 minutos Apresentação do cronograma – 10 minutos Análise dos exemplos de projetos desenvolvidos – 20 minutos Apresentação dos exemplos – 5 minutos por grupo – 40 minutos Discussão dos projetos a serem desenvolvidos – 30 minutos

Desenvolvimento de um Projeto Objetivo: Desenvolver um projeto que envolva a avaliação de um sistema operacional ou de alguma característica de um sistema operacional por meio de um experimento O experimento deverá considerar diferentes possibilidades que serão comparadas O experimento deve conter uma coleta dados que deverão ser adequadamente analisados Deverá ser realizado um planejamento do experimento

Conteúdo Planejamento de Experimentos Técnicas para Avaliação de Desempenho Análise de Resultados

Etapas a serem consideradas 1.  Estudar o sistema e definir os objetivos 2.  Determinar os serviços oferecidos pelo sistema 3.  Selecionar métricas de avaliação 4.  Determinar os parâmetros que afetam o desempenho do sistema 5.  Determinar o nível de detalhamento da análise 6.  Determinar a Técnica de Avaliação apropriada 7. Determinar modelo adequado 8.  Determinar a carga de trabalho característica  9.  Realizar a avaliação e obter os resultados 10.  Analisar e interpretar os resultados 11. Apresentar os resultados Planejamento de Experimento Técnica de Avaliação Análise dos Resultados

Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

Planejamento de Experimento Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos. Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos. Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc. Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

Planejamento de Experimentos Objetivos Obter o máximo de informação com um número mínimo de experimentos Separar os efeitos de vários fatores no resultado observado Determinar o quão significante é o efeito de um fator no resultado observado.

Planejamento de Experimentos Terminologia Variável de Resposta – Saída de um experimento Fatores – Variável que afeta as variáveis de resposta e que podem assumir diversas alternativas Níveis – Os valores que um determinado fator pode assumir Replicação – Repetição de todo ou de parte de um experimento Projeto - Determina o número o número de fatores, níveis e as combinações entre os níveis que serão considerados. Interação – Dois fatores interagem se o efeito de um depende do nível do outro

Planejamento de Experimentos Variável de Resposta O que medir? ter informação o mais fiel possível sobre o comportamento de um sistema O que quero verificar?

Planejamento de Experimentos Terminologia – Exemplo Considere a avaliação de um banco de dados Variáveis de Resposta (métricas): Tempo para recuperar uma informação Número de informações recuperadas por unidade de tempo Taxa de acerto ao cache

Planejamento de Experimentos 2. Definição dos Fatores e níveis Quatro fatores: Fator 1 – Tamanho do banco de dados Fator 2 – Quantidade de usuários Fator 3 – Quantidade de cache Fator 4 – Forma de armazenamento

Planejamento de Experimentos 2. Definição dos Fatores primários e níveis Fator 1 – Tamanho do banco de dados: 20 mil registros 1 milhão de registros 5 milhões de registros Fator 2 – Quantidade de usuários: 10 usuários 100 usuários 1000 usuários 10000 usuários

Planejamento de Experimentos 2. Definição dos Fatores primários e níveis Fator 3 – Quantidade de cache: 512K byte 1M byte 10 M byte Fator 4 – Forma de armazenamento: RAID – nível 10 com 5 discos RAID – nível 4 com 5 discos RAID – nível 5 com 5 discos

Conteúdo Planejamento de Experimentos Carga de trabalho Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

Carga de Trabalho “Conjunto de todas as informações de entrada que um sistema recebe durante qualquer período de tempo determinado” [MENASCÉ, ALMEIDA, 2003] Muito importante no planejamento de capacidade e na avaliação de sistemas

Carga de Trabalho Determinar que tipo de caracteristica é importante ser representada Depende do objetivo da avaliação Nível de detalhe a ser considerado Utilizar as requisições mais freqüentes Considerar os vários tipos de requisições e suas freqüências Trace Verificar a representatividade da carga de trabalho Taxa de chegada Demanda por recurso Seqüência e demanda por diferentes recursos Atualização da carga de trabalho

Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

Modelos para Planejamento de Experimentos Planejamento Simples Planejamento Fatorial completo Planejamento Fatorial parcial

Modelos para Planejamento de Experimentos Planejamento Simples Iniciar com uma configuração inicial Fixar todos os fatores e variar um fator por vez Verificar que fator afeta o desempenho Fácil de ser implementado Não permite verificar a relação entre os fatores Estatisticamente não eficiente

Modelos para Planejamento de Experimentos Planejamento Simples Para um experimento com K fatores e ni níveis no fator i, tem-se:

Modelos para Planejamento de Experimentos Planejamento Simples Não recomendado Muito utilizado

Modelos para Planejamento de Experimentos Planejamento Totalmente Fatorial Utiliza todas as combinações considerando todos os fatores e todos os níveis Para um experimento com K fatores e ni níveis no fator i, tem-se:

Modelos para Planejamento de Experimentos Planejamento Totalmente Fatorial Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas Desvantagens Grande número de experimentos Alto custo para avaliação

Modelos para Planejamento de Experimentos Formas para minimizar custos Reduzir o número de níveis de cada fator Altamente recomendada Reduzir o número de fatores Deve ser implementada com cuidado. Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a interação não existe ou é insignificante Mais rápido Obtém-se menos informações

Erros Comuns em Experimentos Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

Técnicas de Avaliação de Desempenho Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Aferição Sistema Medições Dados 28

Técnicas de Avaliação de Desempenho Protótipos Benchmarcks Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Simulação Analítica Modelagem Modelo Solução Métodos Analíticos Simulação Sistema 29

Conteúdo Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento Técnicas para Avaliação de Desempenho Análise de Resultados

Análise de Resultados - Introdução Amostragem População Amostra Análise Descritiva Conclusões sobre a população Dados Organizados Inferência

Análise de Resultados Amostragem População Análise Descritiva Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Amostragem População Amostra Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Análise Descritiva Conclusões sobre o Sistema Real Conclusões sobre a população Dados Organizados Inferência

Análise de Resultados Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?

Como analisar os diferentes resultados de uma avaliação? Análise de Resultados Como analisar os diferentes resultados de uma avaliação? Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança Deve-se considerar diversos resultados provenientes de diferentes execuções Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes Para aferição: considerar diversas medidas

O que é o Intervalo de confiança? Análise de Resultados O que é o Intervalo de confiança?   Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )%  = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

O que significa Intervalo de confiança? Análise de Resultados O que significa Intervalo de confiança?   Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Yi) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por /2

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança?   Ordenar os valores obtidos…. Ou então… Utiliza-se o Teorema do Limite Central e a Tabela t-student Excel, R, Minitab, SAS, etc….

Comparação entre dois experimentos Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

Comparação entre dois experimentos Teste visual Caso 1 Caso 2 Caso 3 A B A B A B Caso 1 – ICs não sobrepostos  A > B Caso 2 – Média de um está inserida no IC do outro  A = B Caso 3 – ICs sobrepostos mas média está fora  necessário outro teste

Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: Teste t-student – para comparar a média de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar média de três ou mais amostras Chi-Quadrado e Poisson - para valores não contínuos

Procedimento para análise de resultados Definir o objetivo do experimento Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Escolher os fatores e níveis adequadamente Realizar o experimento quantas vezes forem necessárias Pensar na melhor forma de apresentar os dados Fazer o tratamento estatístico adequado para os resultados Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

Procedimento para análise de resultados Definir o objetivo do projeto/experimento/sistema Tudo dependerá do objetivo

Procedimento para análise de resultados Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

Procedimento para análise de resultados 3. Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

Procedimento para análise de resultados 4. Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

Procedimento para análise de resultados 5. Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

Procedimento para análise de resultados 6. Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

Procedimento para análise de resultados 7. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos