Marcilia Andrade Campos Centro de Informática Grupo de Redes e Sistemas Distribuídos Avaliação de Desempenho.

Apresentação em tema: "Marcilia Andrade Campos Centro de Informática Grupo de Redes e Sistemas Distribuídos Avaliação de Desempenho."— Transcrição da apresentação:

1 Marcilia Andrade Campos mac@di.ufpe.br http://www.di.ufpe.br/~mac Centro de Informática Grupo de Redes e Sistemas Distribuídos Avaliação de Desempenho de Sistemas

2 Programa Conceitos Básicos Variáveis Aleatórias Intervalo de Confiança/ Teste de Hipóteses Correlação Regressão Experimentos Fatoriais Teoria das Filas (Processos Estocásticos )

3 Bibliografia Básica Arnold O. Allen, Probability, Statistics, and Queueing Theory with Computer Science Applications Academic Press, New York, 1978. R. Jain The Art of Computer Systems. Techniques for Experimental Design, Measurement, Simulation, and Modeling. John Wiley & Sons, 1991. K. S. Trivedi Probability and Statistics with Reliability, Queueing and Computer Science Applications. Prentice_Hall, 1982.

4 Conceitos Básicos

5 Análise de Desempenho de Sistemas Aprender técnicas para obter um alto desempenho de um sistema com um baixo custo..................USAR ESSAS TÉCNICAS

6 Um sistema computacional pode ser: - componente de hardware - banco de dados - rede de computadores

7 Exemplos de problemas relacionados com desempenho Análise da performance de 2 algoritmos. Comparação entre técnicas clássicas de garbage collection ou tipos de CPU. O tempo médio de respostas de um banco de dados é 3’’. Durante um período de observação de 1’o tempo ocioso do sistema foi de 10’’. Qual o número médio de pedidos completados, durante o intervalo de tempo observado?

8 Tipos de técnicas de avaliação de desempenho Medição Simulação Modelagem analítica

9 Métrica: critério usado para quantificar a performance de um sistema. Exemplos de métricas geralmente usadas: - vazão - tempo de resposta

10 Workload: lista de requisições ao sistema, carga de trabalho de um sistema. Modelagem analítica: workload expressa em termos de probabilidade. Simulação: trace medido em tempo real Medição: execuções do sistema

11 Benchmarks The process of performance comparison for two or more systems by measurements is called benchmarking, and the worloads used in the measurements are called benchmarks.

12 Passos para um estudo de avaliação de desempenho Definir os objetivos e limites do sistema. Selecionar as métricas Selecionar a técnicas de avaliação Analisar e interpretar os dados Refazer todo o estudo, se necessário Apresentar os resultados

13 Criteria for Selecting an Evaluation Technique

14 Estatística Descritiva

15 CAP. 12 - SUMARIZANDO DADOS MENSURADOS 12.1 CONCEITOS DE PROBABILIDADE E ESTATÍSTICA 12.2 SUMARIZANDO DADOS POR UM ÚNICO NÚMERO 12.3 MÉDIA, MEDIANA E MODA. ESCOLHA 12.4 ERROS COMUNS 12.5 MÉDIA GEOMÉTRICA 12.6 MÉDIA HARMÔNICA 12.7 MÉDIA DE UMA RAZÃO 12.8 SUMARIZANDO VARIABILIDADE 12.9 SELECIONANDO A MEDIDA DE DISPERSÃO

16 Média aritmética

17 Média aritmética ponderada

18 Mediana É o valor central ou a média aritmética dos dois valores centrais.

19 Em que: L1 = limite inferior da classe mediana (isto é, da classe que contém a mediana); N = número de itens dos dados (isto é, freqüência total); (  f) 1 = soma de todas as freqüências das classes inferiores à mediana; f mediana = freqüência da classe mediana; c = amplitude do intervalo da classe mediana.

20 Moda Moda É o valor que ocorre com a maior freqüência, ou seja, é o valor mais comum. A moda pode não existir e, mesmo que exista, pode não ser única.

21 Em que: L1 = limite inferior da classe modal (isto é, a que contém a moda);  1 = excesso da freqüência modal sobre a da classe imediatamente inferior;  2 = excesso da freqüência modal sobre a da classe imediatamente superior; c = amplitude do intervalo da classe modal.

22 Média geométrica G

23 Média harmônica

24 Quartis, decis e percentis De maneira geral, os quartis, decis e percentis e outros valores obtidos mediante subdivisões dos dados em partes iguais são denominados quantis.

25 Desvio padrão

26 Variância A variância de um conjunto de dados é definida como o quadrado do desvio padrão e é, deste modo, representada por s 2.

27 Para as distribuições normais (a) 68,27% dos casos estão incluídos entre X -s e X + s (isto é, um desvio padrão de cada lado da média); (b) 95,45% dos casos estão incluídos entre X - 2s e X + 2s (isto é, dois desvios padrões de cada lado da média); (c) 99,73% dos casos estão incluídos entre X - 3s e X + 3s (isto é, três desvios padrões de cada lado da média).

28 Dispersão absoluta e relativa. Coeficiente de variação A variação ou dispersão real, determinada a partir do desvio padrão, ou qualquer outra medida de dispersão, é denominada dispersão absoluta.

29 Se a dipersão absoluta é o desvio padrão s e média é a aritmética X, a dispersão relativa é denominada coeficiente de variação ou de dispersão.

30 Assimetria É o grau de desvio, ou afastamento da simetria, de uma distribuição. Se a curva da freqüência (polígono de freqüência suavizado) de uma distribuição tem uma “cauda” mais longa à direita da ordenada máxima do que à esquerda, diz-se que a distribuição é assimétrica para a direita, ou que ele tem assimetria positiva. Se é o inverso que ocorre, que ela é assimétrica para a esquerda, ou que tem assimetria negativa.

31

32 Cap. 10 - A arte de representar dados

33 Mas por que usar gráficos? Uma imagem vale mais que... Ganho considerável de tempo para o leitor A informação fica mais concisa Atrai mais a atenção “Pode ser usado para enfatizar ou esclarecer um ponto, reforçando a conclusão e resumindo os resultados...”

34 Com o quê estamos lidando? Variáveis Qualitativas e Quantitativas. Qualitativas –são caracterizadas por estados, níveis ou categorias –ordenadas e não ordenadas Quantitativas –níveis expressos numericamente –discretas e contínuas

35 Com o quê estamos lidando? (cont.) Pra quê saber os tipos de variáveis? Gráficos de linha são usados para mostrar a relação entre variáveis contínuas Gráficos de coluna ou barra são usados quando a variável independente (x) é discreta ou uma variável qualitativa.

36 Preparando os Gráficos Diretrizes gerais, não regras

37 Preparando os gráficos Requerer mínimo esforço do leitor –Nível de esforço para ler e entender o gráfico –Ex: direct labeling vs. legend box B A C Número de usuários Tempo de Resposta ABCABC Número de usuários Tempo de Resposta

38 Preparando os gráficos (cont.) Maximizar informação –O gráfico deve ser auto-explicativo –Eixos devem ser informativos Usar práticas usualmente aceitas –Exs: origem em (0,0); escala cresce da esquerda pra direita; escalas lineares...

39 Preparando os gráficos (cont.) Evitar ambigüidades –Identificar todos os elementos do gráfico(eixos, escala, origem, curvas individuais...) Minimizar tinta Dia da semana Disponibilidade 1 12345 Dia da semana Indisponibilidade 0.1 12345

40 Preparando os gráficos (cont.) Os eixos de coordenadas são mostrados e rotulados? As escalas e divisões são mostradas em ambos os eixos? O número de curvas é razoável? Todos os gráficos usam a mesma escala? As unidades de medida são indicadas? O gráfico usa as convenções de representação? Não existem curvas, símbolos, ou textos que podem ser removidos sem afetar a informação?

41 Erros Comuns Como falhar apresentando resultados

42 Erros comuns Apresentar muitas alternativas num único gráfico Apresentar muitas “imagens” num único gráfico Informações “não interessantes” Selecionar variação de escala imprópria

43 Erros comuns (cont.) Uso de símbolos ao invés de texto  =1  =3  =2 l R (a)Símbolos 1 job/seg 3 jobs/seg 2 jobs/seg Taxa de chegada Response Time (b)Palavras Chave

44 Erros comuns (cont.) Usar gráficos de linha ao invés de coluna Tipo da CPU MIPS 8000810082008300

45 Levando Vantagem “Jogando” com as imagens

46 Levando vantagem Usando origens diferentes de (0,0) para enfatizar diferenças 5200 0 MINE YOURS 2610 2600 MINE YOURS

47 Levando vantagem (cont.) Usando duas curvas diferentes num mesmo gráfico para enfatizar o contraste Número de Usuários Vazão Tempo de Resposta

48 Levando vantagem (cont.) Plotar quantidades aleatórias sem indicar intervalos de confiança MINE YOURS MINE YOURS (a) Com intervalo de confiança(a) Sem intervalo de confiança

49 Levando vantagem (cont.) Figuras modificadas em escala pela altura MINE YOURS

50 Levando vantagem (cont.) Escolha “errada” do tamanho das células num histograma Frequência Tempo de Resposta [0,2] 0 4 6 8 10 12 [2,4][4,6][6,8][8,10][10,12] 2 Frequência Tempo de Resposta [0,6] 0 6 9 12 15 18 [6,12] 3

51 Levando vantagem (cont.) Usar escalas quebradas em gráficos de coluna Tempo de Resposta Sistema A 0 4 6 8 10 12 BCDEF 2 Tempo de Resposta 9 10 11 12 Sistema A 0 BCDEF

52 Gráficos de Gantt

53 Usado para exibir a duração relativa de qualquer número de condições booleanas. Cada condição é mostrada como um conjunto de segmentos de reta horizontais Os segmentos de reta são arranjados de forma que a sobreposição das retas representa a sobreposição das condições

54 Gráficos de Gantt (cont.) 0%20%40%60%80%100% CPU Canal de I/O Rede 60 20 3010515

55 Gráficos de Kiviat

56 Auxilia no reconhecimento de problemas de performance Gráfico circular em que as métricas são plotadas sobre retas radiais Parâmetros: 50% HB, 50% LB Devido a essa configuração, o gráfico ideal é uma estrela!

57 Gráficos de Kiviat (cont.) CPU busy 90% CPU only busy 10% CPU/Channel overlap 80% CPU in problem state 80% CPU in supervisor state 10% CPU wait 10% Channel only busy 10% Any Channel busy 90% O gráfico ideal para um sistema balanceado

58 Gráficos de Kiviat (cont.) CPU busy 90% CPU only busy 10% CPU/Channel overlap 80% CPU in problem state 80% CPU in supervisor state 10% CPU wait 10% Channel only busy 10% Any Channel busy 90% Exemplo de um sistema com problemas de balançeamento

59 Mas e se tudo isso não funcionar para convencer os decision makers?

60 Rejeitando uma análise O problema precisa de mais análise A carga do sistema precisa ser melhor entendida “Isso vai aumentar a complexidade e o custo” Isso vai violar o IEEE, ANSI, CCITT, ou qualquer outro padrão.........

61 Exercício 1 -0.04444 -0.04439 -0.04165 -0.03268 -0.03235 -0.03182 0.02771 0.02650 -0.02569 -0.02358 -0.02330 -0.02305 0.02213 0.02128 0.01793 0.01668 -0.01565 -0.01509 0.01432 0.00978 0.00889 0.00687 0.00543 0.00084 -0.00083 -0.00048 0.00024 0.00079 0.00082 0.00106 0.00110 0.00132 0.00162 0.00181 0.00180 0.00379 0.00411 0.00424 0.00553 0.00865 0.01026 0.01085 0.01440 0.01562 0.06975 0.01996 0.02016 0.02078 0.02134 0.02252 0.02414 0.02568 0.02682 0.02855 0.02889 0.03072 0.03259 0.03754 0.04263 0.04276 Jain, pag 202, exercício 12.5