Avaliação de Desempenho de Sistemas Computacionais Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana Regina Helena Carlucci Santana

Conteúdo Planejamento de Experimentos Técnicas para Avaliação de Desempenho Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos

Conteúdo Planejamento de Experimentos Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Estatística Descritiva Introdução Estatística Descritiva H  X  2 Coleta de Dados Organização dos Dados Caracterização dos Dados Massa de Dados Dados agrupados Parâmetros Típicos

Introdução Inferência Estatística A partir de amostras -> conclusões sobre a população Erro amostral – elementos atípicos que não representam a amostra -> diferença entre amostra e população Amostra viciada – tendência maior em selecionar algum tipo de elemento

Introdução Inferência Estatística Erro amostral - cálculo aproximado N – tamanho da população E0 – Erro amostral tolerável n – tamanho da amostra

Introdução Inferência Estatística Erro amostral - cálculo aproximado Pesquisas eleitorais Esse comportamento explica a razão da amostra para eleição de prefeito de uma grande cidade ser praticamente igual a de eleição para presidente N – tamanho da população E0 – Erro amostral tolerável n – tamanho da amostra

Análise de Resultados - Introdução Amostragem População Amostra Análise Descritiva Conclusões sobre a população Dados Organizados Inferência

Análise de Resultados Universo: Eleitorado brasileiro - 135.804.433 eleitores Tamanho da amostra: 10.820 entrevistas A margem de erro é de dois pontos percentuais para mais ou para menos. Intervalo de Confiança- 95%

Análise de Resultados A margem de erro é de dois pontos percentuais para mais ou para menos. Intervalo de Confiança- 95%

Análise de Resultados Segundo Sir Conan Doyle, criador do personagem Sherlock Holmes: "Enquanto um homem individualmente é um quebra-cabeças insolúvel, no conjunto, ele se torna uma certeza matemática. Você nunca pode prever o que um homem fará, mas pode dizer com precisão o que, em média, um número deles fará. Individualmente eles variam, mas em média se mantêm constantes."

Procedimento errado normalmente utilizado para uma avaliação Análise de Resultados Procedimento errado normalmente utilizado para uma avaliação Desenvolvimento de um procedimento para avaliação Validação e verificação do sistema de avaliação Obtenção dos resultados através de uma execução da forma de avaliação escolhida Conclusões sobre o sistema em estudo Equivalente a se considerar uma amostra unitária

Por que esse Procedimento está errado? Análise de Resultados Por que esse Procedimento está errado? Aferição Tem-se controle de todo o sistema? Como são controladas as entradas do sistema? Quais as condições iniciais do sistema? O que mais o sistema está processando no momento da avaliação? Como controlar as interrupções? Diferentes características a serem consideradas, p.ex. onde estão localizadas as informações no disco? Sistema a ser Avaliado entradas saídas Resultados

Análise de Resultados Por que esse Procedimento está errado? Tempo para Execução de um processo em um Sistema Operacional Tarefa programada pode ser ativada durante a execução? Interrupção do clock. Variável necessária está no cache? Na primeira vez que o processo executa pode não estar. Quais as condições iniciais do sistema? Que outros processos estão executando?

Resultados Estocásticos Análise de Resultados Modelagem Representadas por entradas Variáveis aleatórias Modelo Resultados Estocásticos saídas Execução da simulação Sistema a ser Avaliado Estimativa das

Análise de Resultados Portanto, Em uma aferição, a medida obtida é uma dentre um conjunto de possibilidades Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao processo estocástico da simulação

Análise de Resultados Portanto... Deve-se utilizar os resultados que a estatística nos oferece para analisar os resultados dos experimentos. Estatística: ciência que investiga os processos de obtenção, organização e análise de dados sobre uma população e os métodos de tirar conclusões e fazer predições com base nesses dados. Aurélio

Análise de Resultados Amostragem População Análise Descritiva Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Amostragem População Amostra Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Análise Descritiva Conclusões sobre o Sistema Real Conclusões sobre a população Dados Organizados Inferência

“Como mentir com Estatística” Análise de Resultados Cuidado... “Como mentir com Estatística” livro célebre de Huff, 1954. Na verdade, nem sequer é preciso mentir, apenas mostrar a informação conveniente e omitir as outras Ricupero

Análise de Resultados Cuidado... ... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político. Crossen (1996)

Análise de Resultados Os números são lindos!!!! Cuidado... Os números são lindos!!!! Mas são também traiçoeiros.... Primeiro ponto a ser considerado Que métricas estão sendo utilizadas? O que representam os valores obtidos?

Conteúdo Planejamento de Experimentos Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Medidas de Desempenho Freqüentemente Utilizadas Medidas de Posição Média Moda Mediana Medidas de Dispersão Desvio Padrão Variância Percentis Box-Plot

Medidas de Posição Média Moda Mediana média aritmética dos valores valores extremos “puxam” a média Moda valor que ocorre mais vezes Mediana divide o conjunto em duas partes iguais num conjunto ordenado a mediana esta no centro Não é influenciada por valores extremos

Medidas de Posição Média X Mediana

Medidas de Posição Exemplo: Medidas relacionadas a utilização da CPU de um Servidor Ver planilha....

Medidas de Dispersão Medidas de Dispersão Variância Desvio Padrão Análise de percentis Box-Plot

Medidas de Dispersão Percentis – dividem os dados em cem partes de tamanhos iguais Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75 1º Quartil Q1 ou Q0.25 - valor a que corresponde a percentagem cumulativa de 25% 3º Quartil Q3 ou Q0.75 - valor a que corresponde a percentagem cumulativa de 75%

Medidas de Dispersão Box Plot Mostra a mediana, primeiro e terceiro quartis de uma distribuição (pontos 50%, 25% e 75% na distribuição acumulada) Noção de outlier: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente

Medidas de Dispersão * o Mediana I D o D – Distância entre Quartis Outliers – valores extremos da população. Moderados (1ª espécie)(o) [Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e [Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)] Severos (2ª espécie)(*) [Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)] Q3 ou Q0.75 Mediana I D Q1 ou Q0.25 o D – Distância entre Quartis I – Intervalo das Amostras sem Outliers *

Medidas de Dispersão Valores extremos Outliers Dados díspares, muito grandes ou muito pequenos, em relação aos demais, Influenciam muito as médias Podem distorcer conclusões É fundamental sua detecção e tratamento. Possíveis causas de valores espúrios: Erro na fase de mensuração (tomada da medida) Erro na transcrição ou anotação do registro Mudanças (reais) não-controláveis nas condições experimentais. Característica da variável (ex.:instabilidade)

Medidas de Dispersão Tratamento de Outliers Muita controvérsia... Não existe um critério ou metodologia para rejeição de dados Problema maior quando tem-se pequena quantidade de dados ou uma distribuição normal não pode ser garantida. “Nós estatísticos, não gostamos disso!” Marinho Gomes de Andrade Filho

Medidas de Dispersão Analisando Observações Atípicas (Exemplos) Exemplo 1 – amostra sendo obtida em um sistema durante o mês de abril de 2a. a 6a. das 9 as 17; 21/04 – 6a.feira – feriado - deve ser desprezado Exemplo 2- Requisições de um servidor Web Exemplo 3 –Sistema Distribuído ambiente de desenvolvimento de software – distribuição bimodal Exemplo 4 –Acessos a um servidor Web ao longo de um dia

Apenas o especialista na área pode responder..... Medidas de Dispersão Podem-se desprezar dados atípicos? Apenas o especialista na área pode responder.....

Conteúdo Planejamento de Experimentos Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Análise de Resultados Considera-se que alguma técnica para avaliação de desempenho e obtenção dos resultados tenha sido utilizada

Análise de Resultados Em qualquer experimentação, três problemas a serem considerados: Condições iniciais da experimentação Quando parar uma experimentação Resultado de uma execução oferece um resultado dentre muitos outros possíveis

Análise de Resultados Primeiro problema: Qual as condições iniciais que deve-se ter para iniciar uma avaliação? Três condições possíveis: Início no estado vazio; Início no estado de maior probabilidade de ocorrência; Início na média do estado de equilíbrio

Análise de Resultados Início no estado vazio Simples Todos os servidores desocupados -> filas vazias Importante para a análise do transitório mas não do comportamento estacionário Ex.: Banco Comportamento normal x inicial Solução: Valores iniciais Truncamento Experimentação muito grande

Análise de Resultados Início no estado de maior probabilidade de ocorrência; Vantagem: Começar em um estado representativo do sistema Desvantagem: Como determinar o estado mais provável? Como levar o sistema até esse estado?

Análise de Resultados Início na média do estado de equilíbrio Começar a coleta para estatísticas quando os resultados se estabilizam   Truncamento de dados Período de aquecimento – warm-up Retardar a coleta de estatísticas por um período de aquecimento Problema: quando truncar? 10% do valor total (??)

Segundo problema: Quando parar a Avaliação? Análise de Resultados Segundo problema: Quando parar a Avaliação? Algumas possibilidades: Limitar tempo de experimentação Limitar o número de elementos que entram no sistema avaliado Limitar o número de entidades processadas por um servidor Parada automática

Análise de Resultados Limitar tempo de experimentação Desvantagem: número de amostras coletadas será diferente em cada caso    Limitar o número de elementos que entram no sistema Termina em estado vazio e ocioso Problema inicial

Análise de Resultados Limitar o número de entidades processadas por um servidor Problema: sistemas com prioridades Ex.: termina só com tarefas longas na fila – pode camuflar os resultados Parada automática Manipulam resultados da experimentação em intervalos selecionados Calculam média e variância Experimentação pára quando a estimativa da variância da média está dentro de certa tolerância

Primeiro e Segundo problemas: Análise de Resultados Primeiro e Segundo problemas: Relacionados com a condução do experimento Dependem muito da técnica de avaliação que está sendo utilizada Depende bastante do sistema que deve ser avaliado Serão melhor discutidos em cada técnica de avaliação e/ou aplicação considerada

Análise de Resultados Terceiro problema: Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis

Análise de Resultados Terceiro problema: Deve ser utilizado em qualquer experimento que gere um conjunto de resultados possíveis Após a obtenção dos resultados estes devem ser analisados independente da técnica utilizada Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?

Como analisar os diferentes resultados de uma avaliação? Análise de Resultados Como analisar os diferentes resultados de uma avaliação? Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança Deve-se considerar diversos resultados provenientes de diferentes execuções Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes Para aferição: considerar diversas medidas

Análise de Resultados - Exemplo Utilização da CPU   Semente 1  0.33123 Semente 2  0.32571 Semente 3  0.32510 Semente 4  0.31999 Semente 5  0.33813 DISCO1 CPU DISCO2 Como analisar estes resultados? Perigo utilizar resultados de uma única simulação

Análise de Resultados Utilização de Intervalos de confiança   A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema Podemos utilizar: Valores fixos Intervalos Valores fixos não permitem estimar o erro cometido Intervalos de confiança permitem avaliar a confiança no resultado

O que é o Intervalo de confiança? Análise de Resultados O que é o Intervalo de confiança?   Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )%  = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

O que significa Intervalo de confiança? Análise de Resultados O que significa Intervalo de confiança?   Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Yi) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por /2

Análise de Resultados Como determinar o Intervalo de confiança? (para amostras menores que 30)   Ordenar os valores obtidos Eliminar os /2 maiores valores Eliminar os /2 menores valores Obtém-se o intervalo procurado Ou então… Utiliza-se o Teorema do Limite Central e a Tabela t-student

Análise de Resultados

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança?   Média Amostral  Yi = Média das observações de uma execução Estimativa Global  Y = Média das médias amostrais Variância Amostral  Desvio Padrão (DP)  t1-/2,N-1  distribuição Student com N-1 graus de liberdade e nível de confiança igual a 1- 

Como determinar o Intervalo de confiança? Análise de Resultados Como determinar o Intervalo de confiança? Largura do Intervalo de Confiança de 100(1- )% H = t * desvio H = t1-/2,N-1 *  Intervalo de confiança   Y ± H Relação entre halfwidth e média H/Y 1- /2 Intervalo de Confiança Y Y+H Y-H

Análise de Resultados - Exemplo Tchegada = 125 Tserviço = 100 Xi: tempo na fila para cliente i X: tempo médio na fila para 5.000 clientes : média real para tempo na fila -> não conhecido

Análise de Resultados - Exemplo Simulação executada 10 vezes para diferentes conjuntos de números aleatórios, obtendo-se: 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200 Y = 406,551 Esse valor está suficientemente próximo de ?

Análise de Resultados - Exemplo Simulação executada 10 vezes 1- = 0,95   = 0,05 Média = Y = 406,551 Variância = S2 = DP = t.05/2;9 = 2,26 H = t.05/2;9 *DP =36,012 IC: 370,54 – 442,56 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200

Análise de Resultados - Exemplo H = 36,012 IC: 370,54 – 442,56 Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira Tem-se 95% de certeza que a média verdadeira está entre 370,54 – 442,56 Valores individuais podem estar fora do intervalo de confiança

Análise de Resultados - Exemplo Média = Y = 406,554 H = 36,012 IC: 370,54 – 442,56 Amplitude do intervalo de confiança = 72  17,8% do valor médio Não é um valor muito grande? Como diminuir? Aumentando o número de replicações

Análise de Resultados Controle do Erro Utilizando-se a técnica de replicações: Não pode-se determinar a precisão desejada Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro

Análise de Resultados - Exemplo Para o exemplo anterior Suponha que se queira 2*H <= 15% da Média  H <=30,49 Seja r = as próximas replicações r tr-1;0,95 tr-1;0,95* 11 2,23 15,934 35,53393 12 2,20 15,193 33,42448 13 2,18 14,546 31,71058 14 2,16 13,975 30,18703 São necessárias mais 4 replicações para atingir o erro máximo desejado

Conteúdo Planejamento de Experimentos Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Comparação entre dois experimentos Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

Comparação entre dois experimentos Teste visual Variabilidade Média Variabilidade Baixa Variabilidade Alta

Comparação entre dois experimentos Teste visual Caso 1 Caso 2 Caso 3 A B A B A B Caso 1 – ICs não sobrepostos  A > B Caso 2 – Média de um está inserida no IC do outro  A = B Caso 3 – ICs sobrepostos mas média está fora  necessário outro teste

Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: Teste t-student – para comparar a média de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar média de três ou mais amostras Chi-Quadrado e Poisson - para valores não contínuos

Comparação entre dois experimentos Teste T-student Cáculo o valor de t para a amostra: Cáculo número de graus de liberdade  n = nT + nC - 2 Entrar na tabela t-student com n e confiança desejada  ttab Se t > t tab  médias são diferentes Se t < t tab  não existe diferença significativa entre as médias

Análise de Resultados Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir:   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 O que se pode concluir?

Análise de Resultados A A B B H2 (0,2) H1 (0,05) A – 11,6 – 12,4   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 A A B B H2 (0,2) A – 11,6 – 12,4 B – 10,5 – 11,5 H1 (0,05) A - 11,2 – 12,2 B – 10,1 – 11,9

Análise de Resultados VarA = 1,13 VarB = 1,27 n = nA + nB – 2 = 18   A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,1) 0,4 0,5 VarA = 1,13 VarB = 1,27 n = nA + nB – 2 = 18 t =2,040 A B A B H1 (0,05)  tt = 2,101 > 2,040 H1 (0,2)  tt = 1,330 < 2,040 Não existe diferença significativa Médias diferentes

Experimento com um fator e mais de dois níveis Análise de Resultados Experimento com um fator e mais de dois níveis Níveis Repetições   1 2 3 r Soma Média y11 y12 y13 y1r y1 My1 y21 y22 y23 y2r y2 My2 y31 y32 y33 y3r y3 My3 K yk1 yk2 yk3 ykr yk Myk Total Comparar a variabilidade dentro das amostras com a variabilidade das médias das amostras ANOVA

Experimento com um fator e mais de dois níveis Análise de Resultados Experimento com um fator e mais de dois níveis Quadro da Anova para um experimento inteiramente ao acaso Hipótise H0 – testa a não influência do fator Distribuição F-Snedecor com (k -1) e (N – k) graus de liberdade Confiança 1- F (k –1;N – k)

Experimento com um fator e mais de dois níveis Análise de Resultados Experimento com um fator e mais de dois níveis Quadro da Anova para um experimento inteiramente ao acaso Hipótise H0 – testa a não influência do fator Fonte Graus de Liberdade Soma dos Quadrados Quadrados Médios Fc Entre níveis k-1 SQN=  (Myi-média)2 QMN=SQN/(k-1) QMN/QMR Resíduo N-k SQR =   (yij-Myi)2 QMR= SQR/(N-k)   Total N-1 SQT=  (yij-média)2

Fator analisado influencia na variável de resposta Análise de Resultados Experimento com um fator e mais de dois níveis Quadro da Anova para um experimento inteiramente ao acaso Hipótise H0 – testa a não influência do fator Se Fc > F (k –1;N – k) H0 rejeitada Fator analisado influencia na variável de resposta

Teste de hipótese X Intervalo de Confiança Resposta: aceita ou rejeita a hipótese Conclusivo: não deixa dúvida Não oferece maiores informações Difícil de interpretar O que significa tt = 2,101 > 2,040?

Teste de hipótese X Intervalo de Confiança Informações adicionais Intervalo pequenos  parâmetro bem estimado Valores com o mesmo significado que as medidas originais  mais fácil de entender e analisar Significado de Média=12 e H(95%)=0,6

Conteúdo Planejamento de Experimentos Análise de Resultados Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Procedimento para análise de resultados Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Escolher os fatores e níveis adequadamente Realizar o experimento quantas vezes forem necessárias Pensar na melhor forma de apresentar os dados Fazer o tratamento estatístico adequado para os resultados Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

Procedimento para análise de resultados Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

Procedimento para análise de resultados Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

Procedimento para análise de resultados Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

Procedimento para análise de resultados Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

Procedimento para análise de resultados Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

Procedimento para análise de resultados Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos

Procedimento para análise de resultados A seguir..... Alguns Exemplos e Contra-exemplos relacionados a esses procedimentos....

Conteúdo Planejamento de Experimentos Análise de Resultados Exemplos Introdução Medidas de Desempenho Análise Estatística dos Resultados Comparação de Resultados Procedimento para análise de resultados Exemplos 3. Técnicas para Avaliação de Desempenho

Exemplos Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional Trabalho desenvolvido por alunos do Curso de Engenharia de Computação Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga Exemplo 3: Redes sem fio X Redes com fio

Exemplo 1 Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema. Utilizam-se três fatores: Placa mãe + processador, possui dois níveis: athleon64 3500+/dfi-lanparty e athlon64 3000+/asus Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex

Exemplo 1 Técnica utilizada: Benchmark Variável de Resposta – pontuação nos Benchmarks 3DMark mede desempenho da placa de vídeo executa de 3 aplicações gráficas, e avalia desempenho do sistema para programas como jogos 3D ou de renderização gráfica CPUMark – mede desempenho da CPU execução de dois programas que avaliam o desempenho do processador, realizando cálculos de iluminação e renderização de polígonos. Fatorial Completo Resultado: média de 10 execuções

Exemplo 1 Gráfico de comparação da pontuação 3DMark dos testes: Vermelho – intervalo de confiança Teste 1 – athlon64 3000; 1GB; ati radeon x600 Teste 2 - athlon64 3000; 2GB; ati radeon x600 Teste 3 – athleon64 3500; 1GB; ati radeon x600 Teste 4 – athleon64 3500; 2GB; ati radeon x600 Teste 5 – athleon64 3500; 2GB; geforce 7800 GTX Teste 6 – athleon64 3500; 1GB; geforce 7800 GTX Teste 7 – athlon64 3000; 1GB; geforce 7800 GTX Teste 8 - athlon64 3000; 2GB; geforce 7800 GTX

Exemplo 1 Gráfico de comparação da pontuação CPUMark dos testes: Teste 1 – athlon64 3000; 1GB; ati radeon x600 Teste 2 - athlon64 3000; 2GB; ati radeon x600 Teste 3 – athleon64 3500; 1GB; ati radeon x600 Teste 4 – athleon64 3500; 2GB; ati radeon x600 Teste 5 – athleon64 3500; 2GB; geforce 7800 GTX Teste 6 – athleon64 3500; 1GB; geforce 7800 GTX Teste 7 – athlon64 3000; 1GB; geforce 7800 GTX Teste 8 - athlon64 3000; 2GB; geforce 7800 GTX

Exemplo 2 Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) Avaliação de diferentes formas para escalonamento de processos em sistemas distribuídos. Resultados foram obtidos através de simulação.  

Exemplo 2 – Fatores e Níveis Fator 1 – Tipos de Aplicação (CPU/disco/rede/quantidade de memória): 1.      CPU-Bound: 100/0/0/10; 2.      Disk-Bound: 10/90/0/10; 3.      Network-Bound: 10/0/90/10; 4.      Mista 1: 50/30/20/10; 5.      Mista 2: 50/30/20/100. Fator 2 – Heterogeneidade das máquinas: 1.      Máquinas homogêneas; 2.      Máquinas parcialmente heterogêneas 3.      Máquinas heterogêneas.

Exemplo 2 – Fatores e Níveis Fator 3 – Forma de Escalonamento 1. Baseado no índice de CPU 2. Baseado em índice de Memória 3. Baseado em índice de Disco 4. Baseado em índice de Rede 5. Round-Robin 6. VIP - Vector for Index of Performance 7. PVIP - Ponderated Vector for Index of Performance Número de máquinas = 10; Número de aplicações = 5.000

Tempos médios de resposta em uma configuração de máquinas homogêneas Exemplo 2 Escalonamento Aplicações   CPU-Bound Disk-Bound Network-Bound Mista 1 Mista 2 CPU 160,22 3954,84 12513,84 2748,26 2805,80 Memória 1494,00 36316,92 115814,06 25736,37 25624,03 Disco 3855,98 12850,12 2760,46 2750,96 Rede 12349,64 2714,88 2766,32 Round-Robin 161,20 3888,55 12507,25 2719,39 2765,67 VIP 159,46 3814,43 12274,80 2706,98 2738,84 PVIP 160,75 3851,15 12390,31 2713,73 2749,63 Tempos médios de resposta em uma configuração de máquinas homogêneas Qual a melhor forma de escalonamento? Para que tipos de aplicação, pode-se dizer, com certeza, que um tipo de escalonamento é melhor?

Exemplo 2 Escalonamento   CPU Memória Disco Rede VIP PVIP Round Robin Média 160,217 1493,996 159,458 160,754 161,202 Desvio Padrão 2,868 18,192 3,465 4,072 3,505 Variância 8,225 330,949 12,007 16,578 12,286 VIP - CPU VIP - Memória VIP - Disco VIP – Rede VIP – PVIP VIP - Round Robin Z Hipótese α=0,01 -0,654 -279,098 -0,939 -1,370 PVIP - CPU PVIP - Memória PVIP - Disco PVIP – Rede PVIP – VIP PVIP - Round Robin Z Hipótese α=0,01 0,417 -276,987 0,939 -0,322 Análise das diferenças estatisticamente significativas: aplicação CPU-Bound; plataforma homogênea Hipótese nulidade H0: As duas formas de escalonamento comparadas não apresentam diferença significativa Hipótese é rejeitada se Z  -2.57, ou então, Z  2.57  

Exemplo 3 Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal

Exemplo 3 - Fatores e níveis Número de pacotes enviados 40 80 Tamanho dos pacotes enviados (em Bytes) 32 1024 Localização do receptor do pacotes Internacional (www.lycos.co.uk) Nacional (www.uol.com.br) Local (Um IP de uma máquina conectada à rede) Quantidade de computadores com o mesmo tipo de conexão ligado ao hub 2 3

Exemplo 3 - Rede com fio

Exemplo 3 - Rede sem fio

Conteúdo Planejamento de Experimentos Análise de Resultados Técnicas para Avaliação de Desempenho