A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de.

Apresentações semelhantes


Apresentação em tema: "1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de."— Transcrição da apresentação:

1 1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação

2 2 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

3 3 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

4 4 Introdução Massa de Dados Dados agrupados Parâmetros Típicos Coleta de Dados Organização dos Dados Caracterização dos Dados 2 X H Estatística Descritiva

5 5 Introdução Inferência Estatística –A partir de amostras -> conclusões sobre a população Erro amostral – elementos atípicos que não representam a amostra -> diferença entre amostra e população Amostra viciada – tendência maior em selecionar algum tipo de elemento

6 6 Introdução Inferência Estatística –Erro amostral - cálculo aproximado N – tamanho da população E 0 – Erro amostral tolerável n – tamanho da amostra

7 7 Introdução Inferência Estatística –Erro amostral - cálculo aproximado N – tamanho da população E 0 – Erro amostral tolerável n – tamanho da amostra E0E0 Pesquisas eleitorais Esse comportamento explica a razão da amostra para eleição de prefeito de uma grande cidade ser praticamente igual a de eleição para presidente

8 8 Análise de Resultados - Introdução População Amostragem Amostra Dados Organizados Conclusões sobre a população Inferência Análise Descritiva

9 9 Análise de Resultados Folha de São Paulo 09/12/2007: Marta e Alckmin disputam liderança pela Prefeitura de São Paulo Alckmin – 26% dos votos Marta – 24% dos votos

10 10 Análise de Resultados Cidade de São Paulo eleitores (População) O levantamento foi feito com moradores de São Paulo. (Amostra = 1.089) A margem de erro é de três pontos percentuais para mais ou para menos. Intervalo de Confiança- 95%

11 11 Análise de Resultados A margem de erro é de três pontos percentuais para mais ou para menos. Intervalo de Confiança- 95%

12 12 Análise de Resultados errado Procedimento errado normalmente utilizado para uma avaliação 1.Desenvolvimento de um procedimento para avaliação 2.Validação e verificação do sistema de avaliação uma 3.Obtenção dos resultados através de uma execução da forma de avaliação escolhida 4.Conclusões sobre o sistema em estudo Equivalente a se considerar uma amostra unitária

13 13 Análise de Resultados errado Por que esse Procedimento está errado ? Sistema a ser Avaliado entradas saídas Resultados Tem-se controle de todo o sistema? Como são controladas as entradas do sistema? Quais as condições iniciais do sistema? O que mais o sistema está processando no momento da avaliação? Como controlar as interrupções? Diferentes características a serem consideradas, p.ex. onde estão localizadas as informações no disco? Aferição

14 14 Análise de Resultados errado Por que esse Procedimento está errado ? Tarefa programada pode ser ativada durante a execução? Interrupção do clock. Variável necessária está no cache? Na primeira vez que o processo executa pode não estar. Quais as condições iniciais do sistema? Que outros processos estão executando? Tempo para Execução de um processo em um Sistema Operacional

15 15 Análise de Resultados Sistema a ser Avaliado Modelo Execução da simulação entradas saídas Variáveis aleatórias Resultados Estocásticos Representadas por Estimativa das Modelagem

16 16 Análise de Resultados Portanto, Em uma aferição, a medida obtida é uma dentre um conjunto de possibilidades Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao processo estocástico da simulação

17 17 Análise de Resultados Portanto... Deve-se utilizar os resultados que a estatística nos oferece para analisar os resultados dos experimentos. Estatística: ciência que investiga os processos de obtenção, organização e análise de dados sobre uma população e os métodos de tirar conclusões e fazer predições com base nesses dados. Aurélio

18 18 Análise de Resultados População População Amostragem Amostra Dados Organizados Conclusões sobre a população Inferência Análise Descritiva Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Conclusões sobre o Sistema Real

19 19 Análise de Resultados Cuidado... Como mentir com Estatística livro célebre de Huff, Na verdade, nem sequer é preciso mentir, apenas mostrar a informação conveniente e omitir as outras Ricupero

20 20 Análise de Resultados Cuidado as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político. Crossen (1996)

21 21 Análise de Resultados Cuidado... Os números são lindos!!!! Mas são também traiçoeiros.... Primeiro ponto a ser considerado Que métricas estão sendo utilizadas? O que representam os valores obtidos?

22 22 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

23 23 Medidas de Desempenho Freqüentemente Utilizadas Tempo de resposta –intervalo entre o pedido do usuário e a resposta do sistema pedido e resposta instantâneos pedido e resposta realistas –duas definições: 1- fim da requisição e início da resposta 2- fim da requisição e fim da resposta –geralmente o tempo de resposta cai na medida que a carga de trabalho diminui

24 24 Medidas de Desempenho Freqüentemente Utilizadas tempo de resposta com pedido e resposta instantâneos

25 25 Medidas de Desempenho Freqüentemente Utilizadas tempo de resposta com pedido e resposta realistas

26 26 Medidas de Desempenho Freqüentemente Utilizadas Troughput –definido como uma taxa de pedidos que podem ser servidos pelo sistema (pedidos por unidade de tempo) –capacidade nominal –o troughput geralmente aumenta até certo ponto, depois começa a cair –eficiência

27 27 Medidas de Desempenho Freqüentemente Utilizadas Troughput –eficiência (exemplo) gráfico de eficiência em vários processadores

28 28 Medidas de Desempenho Freqüentemente Utilizadas Utilização –fração de tempo em que o recurso está ocupado –sistema ocioso (idle time) deve haver balanceamento de carga para que nenhum recurso seja mais utilizado que outro Confiabilidade –tempo provável em que o sistema fica livre de erros

29 29 Medidas de Desempenho Freqüentemente Utilizadas Disponibilidade –fração de tempo em que o sistema está disponível Custo/Desempenho –melhor relação

30 30 Medidas de Desempenho Freqüentemente Utilizadas Speed Up = tempo serial/tempo paralelo Problemas com Speed Up exemplo: »dois algoritmos, A e B Deve-se evitar esta métrica?

31 31 Medidas de Desempenho Freqüentemente Utilizadas MHZ - problemas Métricas populares: MIPS, GIPS, TIPS; MFLOPS, GFLOPS, TFLOPS; LIPS, KFLIPS, MFLIPS; PPS, BPS, bps; TPS; etc.

32 32 Medidas de Desempenho Freqüentemente Utilizadas Categorias das medidas de desempenho –Alto é melhor (High is Better - HB); –Baixo é melhor (Low is Better - LB); –Nominal é melhor (Nominal is Better - Nbi).

33 33 Medidas de Desempenho Freqüentemente Utilizadas Medidas de Posição –Média –Moda –Mediana Medidas de Dispersão –Desvio Padrão –Variância –Percentis –Box-Plot

34 34 Medidas de Posição Média –média aritmética dos valores –valores extremos puxam a média Moda –valor que ocorre mais vezes Mediana –divide o conjunto em duas partes iguais –num conjunto ordenado a mediana esta no centro –Não é influenciada por valores extremos

35 35 Medidas de Posição Média X Mediana

36 36 Medidas de Posição Medidas de Dispersão –Variância –Desvio Padrão –Análise de percentis –Box-Plot

37 37 Medidas de Posição Percentis – dividem os dados em cem partes de tamanhos iguais Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75 –1º Quartil Q1 ou Q valor a que corresponde a percentagem cumulativa de 25% –3º Quartil Q3 ou Q valor a que corresponde a percentagem cumulativa de 75%

38 38 Medidas de Posição Box Plot –Mostra a mediana, primeiro e terceiro quartis de uma distribuição (pontos 50%, 25% e 75% na distribuição acumulada) –Noção de outlier: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente

39 39 Medidas de Posição Outliers – valores extremos da população. Moderados (1ª espécie)(o) [Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e [Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)] Severos (2ª espécie)(*) [Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)] Q3 ou Q0.75 Q1 ou Q0.25 Mediana D D – Distância entre Quartis I I – Intervalo das Amostras sem Outliers *oo*oo oooo *

40 40 Medidas de Posição Valores extremos Outliers –Dados díspares, muito grandes ou muito pequenos, em relação aos demais, –Influenciam muito as médias –Podem distorcer conclusões –É fundamental sua detecção e tratamento. Possíveis causas de valores espúrios: –Erro na fase de mensuração (tomada da medida) –Erro na transcrição ou anotação do registro –Mudanças (reais) não-controláveis nas condições experimentais. –Característica da variável (ex.:instabilidade)

41 41 Medidas de Posição Tratamento de Outliers –Muita controvérsia... –Não existe um critério ou metodologia para rejeição de dados –Problema maior quando tem-se pequena quantidade de dados ou uma distribuição normal não pode ser garantida. Nós estatísticos, não gostamos disso! Marinho Gomes de Andrade Filho

42 42 Medidas de Posição Analisando Observações Atípicas (Exemplos) –Exemplo 1 – amostra sendo obtida em um sistema durante o mês de abril de 2a. a 6a. das 9 as 17; 21/04 – 6a.feira – feriado - deve ser desprezado –Exemplo 2- Requisições de um servidor Web –Exemplo 3 –Sistema Distribuído ambiente de desenvolvimento de software – distribuição bimodal –Exemplo 4 –Acessos a um servidor Web ao longo de um dia

43 43 Medidas de Posição Podem-se desprezar dados atípicos? Apenas o especialista na área pode responder.....

44 44 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

45 45 Análise de Resultados Considera-se que alguma técnica para avaliação de desempenho e obtenção dos resultados tenha sido utilizada

46 46 Análise de Resultados Em qualquer experimentação, três problemas a serem considerados: 1.Condições iniciais da experimentação 2.Quando parar uma experimentação 3.Resultado de uma execução oferece um resultado dentre muitos outros possíveis

47 47 Análise de Resultados Primeiro problema: Quais as condições iniciais que se devem ter para iniciar uma avaliação? Três condições possíveis: 1.Início no estado vazio; 2.Início no estado de maior probabilidade de ocorrência; 3.Início na média do estado de equilíbrio

48 48 Análise de Resultados 1.Início no estado vazio Simples Todos os servidores desocupados -> filas vazias Importante para a análise do transitório mas não do comportamento estacionário Ex.: Banco Comportamento normal x inicial Solução: Valores iniciais Truncamento Experimentação muito grande

49 49 Análise de Resultados 2.Início no estado de maior probabilidade de ocorrência; Vantagem: –Come ç ar em um estado representativo do sistema Desvantagem: –Como determinar o estado mais prov á vel? –Como levar o sistema at é esse estado?

50 50 Análise de Resultados 3.Início na média do estado de equilíbrio Come ç ar a coleta para estat í sticas quando os resultados se estabilizam Truncamento de dados Per í odo de aquecimento – warm-up Retardar a coleta de estat í sticas por um per í odo de aquecimento Problema: quando truncar? 10% do valor total (??)

51 51 Análise de Resultados Segundo problema: Quando parar a Avaliação? Algumas possibilidades: 1.Limitar tempo de experimentação 2.Limitar o número de elementos que entram no sistema avaliado 3.Limitar o número de entidades processadas por um servidor 4.Parada automática

52 52 Análise de Resultados 1.Limitar tempo de experimentação Desvantagem: número de amostras coletadas será diferente em cada caso 2.Limitar o número de elementos que entram no sistema Termina em estado vazio e ocioso Problema inicial

53 53 Análise de Resultados 3.Limitar o número de entidades processadas por um servidor Problema: sistemas com prioridades Ex.: termina só com tarefas longas na fila – pode camuflar os resultados 4.Parada automática Manipulam resultados da experimentação em intervalos selecionados Calculam média e variância Experimentação pára quando a estimativa da variância da média está dentro de certa tolerância

54 54 Análise de Resultados Primeiro e Segundo problemas: Relacionados com a condução do experimentoRelacionados com a condução do experimento Dependem muito da técnica de avaliação que está sendo utilizadaDependem muito da técnica de avaliação que está sendo utilizada Depende bastante do sistema que deve ser avaliadoDepende bastante do sistema que deve ser avaliado Serão melhor discutidos em cada técnica de avaliação e/ou aplicação consideradaSerão melhor discutidos em cada técnica de avaliação e/ou aplicação considerada

55 55 Análise de Resultados Terceiro problema: Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis

56 56 Análise de Resultados Terceiro problema: Deve ser utilizado em qualquer experimento que gere um conjunto de resultados possíveisDeve ser utilizado em qualquer experimento que gere um conjunto de resultados possíveis Após a obtenção dos resultados estes devem ser analisados independente da técnica utilizadaApós a obtenção dos resultados estes devem ser analisados independente da técnica utilizada Qual resultado deve ser considerado?Qual resultado deve ser considerado? Como comparar dois conjuntos de resultados?Como comparar dois conjuntos de resultados?

57 57 Análise de Resultados Como analisar os diferentes resultados de uma avaliação? Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança Deve-se considerar diversos resultados provenientes de diferentes execuções –Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes –Para aferição: considerar diversas medidas

58 58 Como definir as sementes? Diferentes sementes -> diferentes conjuntos de números aleatórios Pacotes de simulação permitem a escolha entre vários conjuntos Conjuntos de números aleatórios deve ser verificado – correlação entre os conjuntos Análise de Resultados

59 59 Como definir as sementes? Outra possibilidade: valores das sementes obtidos a cada elementos Análise de Resultados Conjunto 1Conjunto 2Conjunto 3 Semente x1x1 x2x2 x3x3 Posição no conjunto Resultados diferentes para cada conjunto

60 60 Utilização da CPU Semente Semente Semente Semente Semente DISCO2 CPU DISCO1 Análise de Resultados - Exemplo Como analisar estes resultados? Perigo utilizar resultados de uma única simulação

61 61 Análise de Resultados Utilização de Intervalos de confiança A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema Podemos utilizar: –Valores fixos –Intervalos Valores fixos não permitem estimar o erro cometido Intervalos de confiança permitem avaliar a confiança no resultado

62 62 Análise de Resultados O que é o Intervalo de confiança? Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado 1- /2 Intervalo de Confiança Y Y+H Y-H Confiança = 100*(1- )% = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

63 63 Análise de Resultados O que significa Intervalo de confiança? Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Y i ) cairá no intervalo 1- /2 Intervalo de Confiança Y Y+H Y-H O resultado de uma única execução poderá estar na área definida por/2

64 64 Análise de Resultados Como determinar o Intervalo de confiança? (para amostras menores que 30) 1.Ordenar os valores obtidos 2.Eliminar os /2 maiores valores 3.Eliminar os /2 menores valores 4.Obtém-se o intervalo procurado Ou então… Utiliza-se o Teorema do Limite Central e a Tabela t-student

65 65 Análise de Resultados

66 66 Análise de Resultados Como determinar o Intervalo de confiança? Média Amostral Y i = Média das observações de uma execução Estimativa Global Y = Média das médias amostrais Variância Amostral Desvio Padrão (DP) t 1- /2,N-1 distribuição Student com N-1 graus de liberdade e nível de confiança igual a 1-

67 67 Análise de Resultados 1- /2 Intervalo de Confiança Y Y+H Y-H Como determinar o Intervalo de confiança? Largura do Intervalo de Confiança de 100(1- )% H = t * desvio H = t 1- /2,N-1 * Intervalo de confiança Y ± H Relação entre halfwidth e média H/Y

68 68 Análise de Resultados - Exemplo X i : tempo na fila para cliente i X: tempo médio na fila para clientes : média real para tempo na fila -> não conhecido T chegada = 125 T serviço = 100

69 69 Análise de Resultados - Exemplo Simulação executada 10 vezes para diferentes conjuntos de números aleatórios, obtendo-se: 331,993447, ,052420, ,524355, ,856492, ,393389,200 Y = 406,551 Esse valor está suficientemente próximo de ?

70 70 Análise de Resultados - Exemplo Simulação executada 10 vezes 1- = 0,95 = 0,05 Média = Y = 406,551 Variância = S 2 = DP = t.05/2;9 = 2,26 H = t.05/2;9 *DP =113,88 IC: 292,67 – 520,43 331,993447, ,052420, ,524355, ,856492, ,393389,200

71 71 Análise de Resultados - Exemplo H = 113,88 IC: 292,67 – 520,43 Tem-se 95% de certeza que a média verdadeira está entre 292,67 – 520,43 Valores individuais podem estar fora do intervalo de confiança Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira

72 72 Análise de Resultados - Exemplo Média = Y = 406,554 H = 113,88 IC: 292,67 – 520,43 Amplitude do intervalo de confiança = 226,76 55,7% do valor médio Não é um valor muito grande? Como diminuir? Aumentando o número de replicações

73 73 Análise de Resultados Controle do Erro Utilizando-se a técnica de replicações: Não pode-se determinar a precisão desejada Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro Para um erro, deve-se ter: H t 1- /2,N-1 *DP

74 74 Análise de Resultados - Exemplo Para o exemplo anterior Suponha que se queira <= 95 Seja r = as próximas replicações rt r-1;0,95 t r-1;0,95 * 112,23 47,80106,60 122,20 45,58100,27 132,18 43,6495,13 142,16 41,9390,56 São necessárias mais 4 replicações para atingir o erro máximo desejado

75 75 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

76 76 Análise de Resultados Comparação entre dois experimentos Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos Definem se os resultados são estatisticamente diferentes

77 77 Comparação entre dois experimentos Variabilidade Média Variabilidade Baixa Variabilidade Alta Teste visual

78 78 Comparação entre dois experimentos Teste visual A B Caso 1 A B A B Caso 2Caso 3 Caso 1 – ICs não sobrepostos A > B Caso 2 – Média de um está inserida no IC do outro A = B Caso 3 – ICs sobrepostos mas média está fora necessário outro teste

79 79 Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: –Teste t-student – para comparar a média de duas amostras –Teste para amostras pareadas –Teste para amostras não pareadas –Análise de Variância - para comparar média de três ou mais amostras –Chi-Quadrado e Poisson - para valores não contínuos

80 80 Comparação entre dois experimentos Cáculo número de graus de liberdade n = n T + n C - 2 Entrar na tabela t-student com n e confiança desejada t tab Se t > t tab médias são diferentes Se t < t tab não existe diferença significativa entre as médias Teste T-student Cáculo o valor de t para a amostra:

81 81 Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir: Análise de Resultados AB Média1211 H 1 (0,05)0,80,9 H 2 (0,2)0,40,5 O que se pode concluir?

82 82 Análise de Resultados AB Média1211 H 1 (0,05)0,80,9 H 2 (0,2)0,40,5 A B A B H 1 (0,05) A - 11,2 – 12,2 B – 10,1 – 11,9 H 2 (0,2) A – 11,6 – 12,4 B – 10,5 – 11,5

83 83 Análise de Resultados AB Média1211 H 1 (0,05)0,80,9 H 2 (0,1)0,40,5 A B A B Var A = 1,13 Var B = 1,27 n = n A + n B – 2 = 18 t =2,040 H 1 (0,05) t t = 2,101 > 2,040 H 1 (0,2) t t = 1,330 < 2,040 Não existe diferença significativa Médias diferentes

84 84 Teste de hipótese X Intervalo de Confiança Teste de hipótese Resposta: aceita ou rejeita a hipótese Conclusivo: não deixa dúvida Não oferece maiores informações Difícil de interpretar O que significa t t = 2,101 > 2,040?

85 85 Teste de hipótese X Intervalo de Confiança Intervalo de confiança Informações adicionais Intervalo pequenos parâmetro bem estimado Valores com o mesmo significado que as medidas originais mais fácil de entender e analisar Significado de Média=12 e H(95%)=0,6

86 86 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

87 87 Procedimento para análise de resultados 1.Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo 2.Escolher os fatores e níveis adequadamente 3.Realizar o experimento quantas vezes forem necessárias 4.Pensar na melhor forma de apresentar os dados 5.Fazer o tratamento estatístico adequado para os resultados 6.Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

88 88 Procedimento para análise de resultados 1.Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo Não considerar variáveis essenciais pode levar a erros na análise Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

89 89 Procedimento para análise de resultados 2.Escolher os fatores e níveis adequadamente Escolher poucos fatores e, se possível, apenas dois níveis por fator Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente. Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

90 90 Procedimento para análise de resultados 3.Realizar o experimento quantas vezes forem necessárias Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados Não tirar conclusões baseando-se em um único resultado

91 91 Procedimento para análise de resultados 4.Pensar na melhor forma de apresentar os dados Tabelas são ótimas para observar detalhes e valores precisos Gráficos são adequados para melhor visualizar os resultados Nos gráficos, cuidado com escalas e origem dos eixos Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

92 92 Procedimento para análise de resultados 5.Fazer o tratamento estatístico adequado para os resultados Não tirar conclusões considerando-se apenas médias Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc. Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

93 93 Procedimento para análise de resultados 6.Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado Desconfie de resultados não esperados Tente relacionar os diferentes resultados obtidos Tente explicar os resultados obtidos

94 94 Procedimento para análise de resultados A seguir..... Alguns Exemplos e Contra-exemplos relacionados a esses procedimentos....

95 95 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados –Introdução –Medidas de Desempenho Freqüentemente Utilizadas –Análise Estatística dos Resultados –Comparação de Resultados –Procedimento para análise de resultados –Exemplos 3. Técnicas para Avaliação de Desempenho

96 96 Exemplos Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional –Trabalho desenvolvido por alunos do Curso de Engenharia de Computação Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga Exemplo 3: Redes sem fio X Redes com fio –Trabalho desenvolvido por alunos do Curso de Engenharia de Computação

97 97 Exemplo 1 Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema. Utilizam-se três fatores: –Placa mãe + processador, possui dois níveis: athleon /dfi-lanparty e athlon /asus –Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel –Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex

98 98 Exemplo 1 Técnica utilizada: Benchmark Variável de Resposta – pontuação nos Benchmarks –3DMark mede desempenho da placa de vídeo executa de 3 aplicações gráficas, e avalia desempenho do sistema para programas como jogos 3D ou de renderização gráfica –CPUMark – mede desempenho da CPU execução de dois programas que avaliam o desempenho do processador, realizando cálculos de iluminação e renderização de polígonos. Fatorial Completo Resultado: média de 10 execuções

99 99 Exemplo 1 Gráfico de comparação da pontuação 3DMark dos testes: Vermelho – intervalo de confiança Teste 1 – athlon ; 1GB; ati radeon x600 Teste 2 - athlon ; 2GB; ati radeon x600 Teste 3 – athleon ; 1GB; ati radeon x600 Teste 4 – athleon ; 2GB; ati radeon x600 Teste 5 – athleon ; 2GB; geforce 7800 GTX Teste 6 – athleon ; 1GB; geforce 7800 GTX Teste 7 – athlon ; 1GB; geforce 7800 GTX Teste 8 - athlon ; 2GB; geforce 7800 GTX

100 100 Exemplo 1 Gráfico de comparação da pontuação CPUMark dos testes: Teste 1 – athlon ; 1GB; ati radeon x600 Teste 2 - athlon ; 2GB; ati radeon x600 Teste 3 – athleon ; 1GB; ati radeon x600 Teste 4 – athleon ; 2GB; ati radeon x600 Teste 5 – athleon ; 2GB; geforce 7800 GTX Teste 6 – athleon ; 1GB; geforce 7800 GTX Teste 7 – athlon ; 1GB; geforce 7800 GTX Teste 8 - athlon ; 2GB; geforce 7800 GTX

101 101 Exemplo 2 Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) Avaliação de diferentes formas para escalonamento de processos em sistemas distribuídos. Resultados foram obtidos através de simulação.

102 102 Exemplo 2 – Fatores e Níveis Fator 1 – Tipos de Aplicação (CPU/disco/rede/quantidade de memória): 1. CPU-Bound: 100/0/0/10; 2. Disk-Bound: 10/90/0/10; 3. Network-Bound: 10/0/90/10; 4. Mista 1: 50/30/20/10; 5. Mista 2: 50/30/20/100. Fator 2 – Heterogeneidade das máquinas: 1. Máquinas homogêneas; 2. Máquinas parcialmente heterogêneas 3. Máquinas heterogêneas.

103 103 Exemplo 2 – Fatores e Níveis Fator 3 – Forma de Escalonamento 1. Baseado no índice de CPU 2. Baseado em índice de Memória 3. Baseado em índice de Disco 4. Baseado em índice de Rede 5. Round-Robin 6. VIP - Vector for Index of Performance 7. PVIP - Ponderated Vector for Index of Performance Número de máquinas = 10; Número de aplicações = 5.000

104 104 Exemplo 2 Qual a melhor forma de escalonamento? Para que tipos de aplicação, pode-se dizer, com certeza, que um tipo de escalonamento é melhor? Tempos médios de resposta em uma configuração de máquinas homogêneas CPU-BoundDisk-BoundNetwork-BoundMista 1Mista 2 CPU160,223954, ,842748,262805,80 Memória1494, , , , ,03 Disco1494,003855, ,122760,462750,96 Rede1494, , ,642714,882766,32 Round-Robin161,203888, ,252719,392765,67 VIP159,463814, ,802706,982738,84 PVIP160,753851, ,312713,732749,63 Escalonamento Aplicações

105 105 Exemplo 2 Análise das diferenças estatisticamente significativas: aplicação CPU-Bound; plataforma homogênea CPUMemóriaDiscoRedeVIPPVIPRound Robin Média160, , ,458160,754161,202 Desvio Padrão2,86818,192 3,4654,0723,505 Variância8,225330,949 12,00716,57812,286 VIP - CPU VIP - MemóriaVIP - DiscoVIP – Rede VIP – PVIP VIP - Round Robin Z Hipótese α=0,01-0, ,098 -0,939-1,370 PVIP - CPU PVIP - Memória PVIP - Disco PVIP – Rede PVIP – VIP PVIP - Round Robin Z Hipótese α=0,010, ,987 0,939-0,322 Hipótese nulidade H0: As duas formas de escalonamento comparadas não apresentam diferença significativa Hipótese é rejeitada se Z -2.57, ou então, Z 2.57 Escalonamento

106 106 Exemplo 3 Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal

107 107 Exemplo 3 - Fatores e níveis Número de pacotes enviados – 40 – 80 Tamanho dos pacotes enviados (em Bytes) – 32 – 1024 Localização do receptor do pacotes – Internacional (www.lycos.co.uk) – Nacional (www.uol.com.br) – Local (Um IP de uma máquina conectada à rede) Quantidade de computadores com o mesmo tipo de conexão ligado ao hub – 2 – 3

108 108 Exemplo 3 - Rede com fio

109 109 Exemplo 3 - Rede sem fio

110 110 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho


Carregar ppt "1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de."

Apresentações semelhantes


Anúncios Google