Avaliação de Desempenho de Sistemas Computacionais Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana Regina Helena Carlucci Santana

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Apresentação de Resultados Exemplos Técnicas para Avaliação de Desempenho

Análise de Resultados Em qualquer experimentação, três problemas a serem considerados: Condições iniciais da experimentação Quando parar uma experimentação Resultado de uma execução oferece um resultado dentre muitos outros possíveis Resultado de uma execução oferece um resultado dentre muitos outros possíveis

Análise de Resultados Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis

Análise de Resultados Utilização de Intervalos de confiança   A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema Podemos utilizar: Valores fixos Intervalos Valores fixos não permitem estimar o erro cometido Intervalos de confiança permitem avaliar a confiança no resultado

O que é o Intervalo de confiança? Análise de Resultados O que é o Intervalo de confiança?   Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )%  = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

O que significa Intervalo de confiança? Análise de Resultados O que significa Intervalo de confiança?   Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Yi) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por /2

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança?   Ordenar os valores obtidos Eliminar os /2 maiores valores Eliminar os /2 menores valores Obtém-se o intervalo procurado

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança? Para amostras menores que 30 e com desvio padrão da população desconhecido   Utiliza-se o Teorema do Limite Central e a Tabela t-student Para amostras maiores que 30 ou com desvio padrão da população conhecido Utiliza-se o Teorema do Limite Central e a Tabela Z

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança? Para amostras menores que 30 e com desvio padrão da população desconhecido   Utiliza-se o Teorema do Limite Central e a Tabela t-student Conheço o desvio padrão da amostra - DP

Teorema do Limite Central Tenho uma amostra ou população com distribuição qualquer com média M e desvio padrão DP Pegando a média de varias amostras de tamanho n Quanto maior o valor de n maior a proximidade das médias amostrais de uma distribuição normal com média M e desvio padrão DP

Análise de Resultados

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança?   Média Amostral  Yi = Média das observações de uma execução Estimativa Global  Y = Média das médias amostrais Variância Amostral  Desvio Padrão (DP)  t1-/2,N-1  distribuição Student com N-1 graus de liberdade e nível de confiança igual a 1- 

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança? Largura do Intervalo de Confiança de 100(1- )% H = t * DP/ H = t1-/2,N-1 *  Intervalo de confiança   Y ± H Relação entre halfwidth e média H/Y 1- /2 Intervalo de Confiança Y Y+H Y-H

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança? Em versões antigas do Excel... Função INT.CONFIANÇA considera que o desvio padrão da população é conhecido. Quando apenas o desvio padrão da amostra é conhecido, deve-se calcular o intervalo de confiança utilizando a função: =INVT(;n-1)*(DESVPAD(amostra)/RAIZ(n))

Análise de Resultados - Exemplo Tchegada = 125 Tserviço = 100 Xi: tempo na fila para cliente i X: tempo médio na fila para 5.000 clientes : média real para tempo na fila -> não conhecido

Análise de Resultados - Exemplo Simulação executada 10 vezes para diferentes conjuntos de números aleatórios, obtendo-se: 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200 Y = 406,551 Esse valor está suficientemente próximo de ?

Análise de Resultados - Exemplo Simulação executada 10 vezes 1- = 0,95   = 0,05 Média = Y = 406,551 Variância = S2 = DP = t.05/2;9 = 2,26 H = t.05/2;9 *DP/ =36,012 IC: 370,54 – 442,56 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200

Análise de Resultados - Exemplo H = 36,012 IC: 370,54 – 442,56 Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira Tem-se 95% de certeza que a média verdadeira está entre 370,54 – 442,56 Valores individuais podem estar fora do intervalo de confiança

Análise de Resultados - Exemplo Média = Y = 406,554 H = 36,012 IC: 370,54 – 442,56 Amplitude do intervalo de confiança = 72  17,8% do valor médio Não é um valor muito grande? Como diminuir? Aumentando o número de replicações

Análise de Resultados Controle do Erro Utilizando-se a técnica de replicações: Não se pode determinar a precisão desejada Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro

Análise de Resultados - Exemplo Para o exemplo anterior Suponha que se queira 2*H <= 15% da Média  H <=30,49 Seja r = as próximas replicações r tr-1;0,95 tr-1;0,95* 11 2,23 15,934 35,53393 12 2,20 15,193 33,42448 13 2,18 14,546 31,71058 14 2,16 13,975 30,18703 São necessárias mais 4 replicações para atingir o erro máximo desejado

Batch Means – outra abordagem para atingir a precisão desejada Análise de Resultados Batch Means – outra abordagem para atingir a precisão desejada Executar uma parte da experimentação (batch) Determinar intervalo de confiança Se atingiu precisão Então parar Senão Executar mais um batch e retornar ao cálculo do intervalo de confiança Vantagem: apenas 1 warm-up Desvantagem: maior complexidade

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos Apresentação de Resultados Técnicas para Avaliação de Desempenho

Comparação entre dois experimentos Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

Comparação entre dois experimentos Teste visual Variabilidade Média Variabilidade Baixa Variabilidade Alta

Comparação entre dois experimentos Teste visual Caso 1 Caso 2 Caso 3 A B A B A B Caso 1 – ICs não sobrepostos  A > B Caso 2 – Média de um está inserida no IC do outro  A = B Caso 3 – ICs sobrepostos mas média está fora  necessário outro teste

Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: Teste t-student – para comparar a média de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar média de três ou mais amostras Chi-Quadrado e Poisson - para valores não contínuos

Comparação entre dois experimentos Teste T-student Cálculo o valor de t para a amostra: Cálculo número de graus de liberdade  n = nT + nC - 2 Entrar na tabela t-student com n e confiança desejada  ttab Se t > t tab  médias são diferentes Se t < t tab  não existe diferença significativa entre as médias

Análise de Resultados Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir:   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 O que se pode concluir?

Análise de Resultados A A B B H2 (0,2) H1 (0,05) A – 11,6 – 12,4   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 A A B B H2 (0,2) A – 11,6 – 12,4 B – 10,5 – 11,5 H1 (0,05) A - 11,2 – 12,2 B – 10,1 – 11,9

Análise de Resultados VarA = 1,13 VarB = 1,27 n = nA + nB – 2 = 18   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,1) 0,4 0,5 VarA = 1,13 VarB = 1,27 n = nA + nB – 2 = 18 t =2,040 A B A B H1 (0,05)  tt = 2,101 > 2,040 H1 (0,2)  tt = 1,330 < 2,040 Não existe diferença significativa Médias diferentes

Teste de hipótese X Intervalo de Confiança Resposta: aceita ou rejeita a hipótese Conclusivo: não deixa dúvida Não oferece maiores informações Difícil de interpretar O que significa tt = 2,101 > 2,040?

Teste de hipótese X Intervalo de Confiança Informações adicionais Intervalo pequenos  parâmetro bem estimado Valores com o mesmo significado que as medidas originais  mais fácil de entender e analisar Significado de Média=12 e H(95%)=0,6

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Apresentação de Resultados Exemplos Procedimento para análise de resultados Técnicas para Avaliação de Desempenho

Apresentação de Resultados Tipos de Variáveis Formas de apresentar resultados Tabelas Gráficos Não serão apresentadas regras e sim sugestões Bom senso deve prevalecer!!!!

Formas de Apresentar Resultados Tipos de Variáveis Jain, 91

Formas de Apresentar Resultados Texto Descreve todos os detalhes necessários Textos longos – várias páginas de um trabalho sem figuras ou tabelas – maçante Muitas palavras para descrever algo que pode ser mais facilmente apresentado em uma figura ou tabela Forma ideal é aquela que ajuda a ressaltar as informações importantes

Formas de Apresentar Resultados Opções Desenhos, diagramas, esquemas, fluxogramas, fotografias, gráficos, mapas, organogramas, plantas, quadros, fotos Tornam o trabalho/apresentação mais atrativos

Formas de Apresentar Resultados Opções Desenhos, diagramas, esquemas, fluxogramas, fotografias, gráficos, mapas, organogramas, plantas, quadros, fotos Apresentam dados de forma clara, direta e verdadeira Não dispensam o texto Sempre devem vir acompanhadas de explicação

Formas de Apresentar Resultados Tabelas vs Gráficos Tabelas Mais precisa Mais completa Visualmente não atraente Gráficos Demonstram o comportamento de variáveis Facilita comparação

Tabelas Elementos essenciais: Elementos complementares (rodapé): Título: antes da tabela e explica do que se trata Cabeçalho: indica conteúdo das colunas Corpo: conjunto de linhas e colunas Elementos complementares (rodapé): Fonte: indica origem dos dados Notas: informações sobre o conteúdo Chamadas: informações de um item Esperado que valores cresçam da esquerda para direita e de cima para baixo

Tabelas Exemplos O que significa cada coluna?

Tabelas Uso de sombras, linhas, tipos de letras e cores pode mais atrapalhar do que ajudar Exemplos

Tabelas Uso de sombras, linhas, tipos de letras e cores pode mais atrapalhar do que ajudar Exemplos

Tabela 1: Classificação dos Equipamentos. Tabelas Tabelas muito longas: Apêndice Subdivisões Exemplos Tabela 1: Classificação dos Equipamentos.

Gráfico Elementos essenciais: Título Nome nos eixos Escala Fonte

Como Preparar bons Gráfico Jain,91 1. Minimizar esforço do leitor

Como Preparar bons Gráfico Jain,91 Evolução da popularidade das 20 Linux mais utilizados http://www.vivaolinux.com.br/dica/Grafico-da-evolucao-da-popularidade-das-20-distros-mais-utilizadas Ranking de cima pra baixo Quanto mais próximo do eixo X, mais popular

Como Preparar bons Gráfico Jain,91 2. Maximizar informações Evitar símbolos, siglas pouco usuais Usar frases objetivas e esclarecedoras Ex. Tempo de CPU em segundos Tempo médio de execução de requisição 3. Apresentar apenas dados necessários

Como Preparar bons Gráfico Jain,91 4. Práticas Usuais Origem em (0,0) Eixo x crescendo para a direita Eixo y crescendo para cima Variável independente no eixo x Variável dependente no eixo y Divisão das escalas uniforme Escala linear Escala continua – sem quebra Tudo o que fugir desse padrão deve ser usado apenas se necessário e o leitor deve ser enfaticamente avisado

Como Preparar bons Gráfico Jain,91 5. Evitar Ambiguidades Mostrar claramente todos os elementos do gráfico Evitar plotar múltiplas variáveis no mesmo gráfico

Como Preparar bons Gráfico Checklist for Good Graphics – Jain, 91 26 itens a serem verificados

Tipos de Gráficos Gráfico de Barras Variáveis podem ser discretas ou contínuas Dividido em categorias que são representadas pelas barras Um eixo representa as categorias e no outro a frequência de ocorrência Todas barras com mesma largura e diferente altura Cuidado com a divisão das categorias Evitar grande número de barras (Jain propõe não mais do que 10 barras)

Gráfico de Barras - Exemplos Tipos de Gráficos Gráfico de Barras - Exemplos [0,2) [2,4) [4,6) [6,8) [8,10) [10,12) [0,6) [6,12) Response Time Frequency 2 4 6 8 10 12 Quebra de escala divisão das categorias A System Resp. Time 2 4 6 8 10 12 B C D E F 9 11

Tipos de Gráficos Gráfico de Linhas Adequados para variáveis contínuas Posso representar frequência acumulada ou comparar variáveis Evitar um grande número de linhas em um único gráfico (Jain propõe não mais do que 7 curvas) Evitar a representação de variáveis dependentes em diferentes escalas

Gráfico de Linhas - Exemplos Tipos de Gráficos Gráfico de Linhas - Exemplos Diferentes Escalas CPU Type 8000 8100 8300 8200 MIPS Uso de Linhas Contínuas para variável independente discreta

Gráfico de Setores (pizza) Tipos de Gráficos Gráfico de Setores (pizza) Apresenta a frequência que cada resultado ou intervalo de resultados ocorre Quanto menor o número de setores maior é o impacto Evitar um número muito grande de setores (Jain propõe não mais do que 8 fatias)

Tipos de Gráficos Gráfico de Dispersão Mostra o tipo de correlação entre duas variáveis Inicio de uma análise de regressão Verifica-se se as variáveis são proporcionais, se inversamente proporcionais, etc.

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Apresentação de Resultados Exemplos Procedimento para análise de resultados Técnicas para Avaliação de Desempenho

Exemplos Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional Exemplo 2: Redes sem fio X Redes com fio

Exemplo 1 Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema. Utilizam-se três fatores: Placa mãe + processador, possui dois níveis: athleon64 3500+/dfi-lanparty e athlon64 3000+/asus Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex

Exemplo 1 Técnica utilizada: Benchmark Variável de Resposta – pontuação nos Benchmarks 3DMark mede desempenho da placa de vídeo executa de 3 aplicações gráficas, e avalia desempenho do sistema para programas como jogos 3D ou de renderização gráfica CPUMark – mede desempenho da CPU execução de dois programas que avaliam o desempenho do processador, realizando cálculos de iluminação e renderização de polígonos. Fatorial Completo Resultado: média de 10 execuções

Exemplo 1 Gráfico de comparação da pontuação 3DMark dos testes: Vermelho – intervalo de confiança Teste 1 – athlon64 3000; 1GB; ati radeon x600 Teste 2 - athlon64 3000; 2GB; ati radeon x600 Teste 3 – athleon64 3500; 1GB; ati radeon x600 Teste 4 – athleon64 3500; 2GB; ati radeon x600 Teste 5 – athleon64 3500; 2GB; geforce 7800 GTX Teste 6 – athleon64 3500; 1GB; geforce 7800 GTX Teste 7 – athlon64 3000; 1GB; geforce 7800 GTX Teste 8 - athlon64 3000; 2GB; geforce 7800 GTX

Exemplo 1 Gráfico de comparação da pontuação CPUMark dos testes: Teste 1 – athlon64 3000; 1GB; ati radeon x600 Teste 2 - athlon64 3000; 2GB; ati radeon x600 Teste 3 – athleon64 3500; 1GB; ati radeon x600 Teste 4 – athleon64 3500; 2GB; ati radeon x600 Teste 5 – athleon64 3500; 2GB; geforce 7800 GTX Teste 6 – athleon64 3500; 1GB; geforce 7800 GTX Teste 7 – athlon64 3000; 1GB; geforce 7800 GTX Teste 8 - athlon64 3000; 2GB; geforce 7800 GTX

Exemplo 2 Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal

Exemplo 2 - Fatores e níveis Número de pacotes enviados 40 80 Tamanho dos pacotes enviados (em Bytes) 32 1024 Localização do receptor do pacotes Internacional (www.lycos.co.uk) Nacional (www.uol.com.br) Local (Um IP de uma máquina conectada à rede) Quantidade de computadores com o mesmo tipo de conexão ligado ao hub 2 3

Exemplo 2 - Rede com fio

Exemplo 2 - Rede sem fio

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Apresentação de Resultados Exemplos Procedimento para análise de resultados Técnicas para Avaliação de Desempenho

Procedimento para Experimento Defina claramente o objetivo do experimento a ser realizado Estude detalhadamente o sistema a ser avaliado, o objetivo do sistema e os possíveis usuários Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Escolher os fatores e níveis adequadamente Realizar o experimento quantas vezes forem necessárias Pensar na melhor forma de apresentar os dados Fazer o tratamento estatístico adequado para os resultados Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

Procedimento para Experimento Defina claramente o objetivo do experimento a ser realizado O sucesso do experimento dependerá da definição do seu objetivo e do que se pretende observar

Procedimento para Experimento Estude detalhadamente o sistema a ser avaliado, o objetivo do sistema e os possíveis usuários Quem avalia um sistema deve ser especialista da área em que se insere Quem avalia um sistema deve conhecer os usuários e qual é o usuário foco da avaliação

Procedimento para Experimento Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

Procedimento para Experimento Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

Procedimento para Experimento Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

Procedimento para Experimento Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

Procedimento para Experimento Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

Procedimento para Experimento Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos

Conteúdo Introdução Planejamento de Experimentos Análise de Resultados Técnicas para Avaliação de Desempenho