Avaliação de Desempenho Introdução Aula 1 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de Ciências Matemáticas.

Apresentação em tema: "Avaliação de Desempenho Introdução Aula 1 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de Ciências Matemáticas."— Transcrição da apresentação:

1 Avaliação de Desempenho Introdução Aula 1 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação

2 Conteúdo 1.Planejamento de Experimentos 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

3 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

4 Conteúdo 1.Planejamento de Experimentos 2.Técnicas para Avaliação de Desempenho –Técnicas de Aferição: Protótipos, Benchmarks e Monitores –Técnicas de Modelagem: Solução Analítica e por Simulação 3.Análise de Resultados

5 Conteúdo 1.Planejamento de Experimentos 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados –Análise Estatística dos Resultados –Comparação de Resultados –Aplicações em Sistemas Operacionais

6 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

7 Motivação Exemplo: Avaliação de um Sistema Operacional Porque avaliar desempenho de Sistemas Operacionais? Porque o Sistema Operacional influencia no desempenho? Em diversas ocasiões o Sistema Operacional apresenta grande influência no desempenho de um sistema

8 Motivação Diversos Motivos, relacionados aos requisitos básicos de SOs: 1. Necessidade de Confiabilidade –Desempenho X Confiabilidade –Duas características conflitantes 2. Facilidade de Utilização –SOs são de utilização ampla –Diferentes tipos de usuários –Usuários menos experientes requerem facilidade de aprendizagem/utilização. Ex, plug and play.

9 Motivação Diversos Motivos, relacionados aos requisitos básicos de SOs: 3. Oferecimento de Novas Versões –Visando a evitar a estagnação do produto –Visando a perda de clientes 4. Adequabilidade à Aplicação –Necessidade de características específicas –Exemplos: formas de escalonamento, threads usuário ou kernel, aplicações I/O ou CPU bound

10 Motivação Diversos Motivos, relacionados aos requisitos básicos de SOs: 5. Execução em segundo plano –Por exemplo, deamons no Unix –Processos carregados sem o conhecimento explicito do usuário. 6. Etc., etc., etc....

11 Motivação Como Agilizar? 1.Identificar os pontos de atraso e verificar o impacto desse atraso: Verificar a freqüência com que o procedimento ocorre –Eventos raros e lentos: Pouco impacto Muita otimização para ser perceptível Exemplo: procedimento ao ligar o computador, falha ao entrar em uma região crítica –Eventos freqüentes: Muito impacto Pequena otimização pode ser perceptível Exemplo: processo escalonador 2. Propor soluções 3. Avaliar soluções Avaliação de Desempenho de Sistemas Computacionais

12 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

13 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

14 Avaliação de Desempenho Por quê se preocupar em avaliar um sistema? Obter o melhor desempenho possível a um menor custo. O que é melhor desempenho possível? O que deve ser analisado? Depende do ponto de vista

15 Avaliação de Desempenho O que o sistema precisa? Qual é o tipo de usuário? Qual é o objetivo do sistema? Como se dá o gerenciamento de recursos?

16 Avaliação de Desempenho? Análise detalhada: Dos recursos do sistema Dos gerenciadores Dos Usuários Caso contrário pode-se trocar um conjunto de problemas por outro

17 Exemplo Como avaliar um aquário?

18 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

19 O que vem a ser Avaliação de Desempenho? Avaliar um sistema (computacional ou não) buscar uma métrica que indique quantidade ou qualidade, por exemplo, de um serviço prestado; Determinar a eficiência com a qual um sistema atinge seus objetivos

20 Avaliação de Desempenho Avaliar um sistema (computacional ou não) Determinar a eficiência com a qual um sistema atinge as necessidades e expectativas de seus usuários e de seus desenvolvedores, para uma dada aplicação

21 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

22 Avaliação de Desempenho Quando se preocupar com a avaliação de desempenho? Usuário reclamando Troca de sistema Comparação entre sistemas Avaliação de um projeto

23 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

24 Avaliação de Desempenho Quem deve se preocupar com a avaliação de desempenho? cada domínio implica em um profissional exemplo: sistemas computacionais: analista de sistemas; gerente de sistemas; engenheiro de sistemas; projetista de hardware ou software; programador; etc.

25 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

26 Técnicas para Avaliação de Desempenho Como medir o desempenho? Como escolher a técnica mais adequada? Deve deixar a análise isenta Não deve ser um fator degenerador Deve considerar o domínio da aplicação Intrusões em sistemas já estabelecidos nem sempre são bem-vindas

27 Técnicas para Avaliação de Desempenho Técnicas de Aferição: Realizam experimentação no sistema Construção de Protótipos; Coleta de Dados; Benchmarks. Técnicas de Modelagem: Criam abstrações desse sistema Desenvolvimento de um Modelo Solução do Modelo

28 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

29 Variável de Resposta O que medir? Quero ter a informação mais fiel possível sobre o comportamento de um sistema Diversos enfoques: Responsividade – tempo que leva para executar um serviço Produtividade – taxa de execução de um serviço por unidade de tempo Utilização – recurso utilizado para a execução do serviço Planejamento de Experimentos

30 Variável de Resposta O que medir? Velocidade Confiabilidade Disponibilidade Métricas individuais Métricas globais Planejamento de Experimentos

31 Variável de Resposta O que medir? Média Variabilidade Distribuição Máximo e mínimo Desvio Padrão Intervalo de confiança Planejamento de Experimentos

32 Medidas de Desempenho Categorias das medidas de despenho –Alto é melhor (High is Better - HB); –Baixo é melhor (Low is Better - LB); –Nominal é melhor (Nominal is Better - Nbi).

33 Medidas de Desempenho Tempo de resposta –intervalo entre o pedido do usuário e a resposta do sistema pedido e resposta instantâneos pedido e resposta realistas

34 Medidas de Desempenho tempo de resposta com pedido e resposta realistas geralmente o tempo de resposta cai na medida que a carga de trabalho diminui

35 Medidas de Desempenho Tempo de Resposta Visão do usuário Medida individual ou global Velocidade de execução de uma tarefa em determinadas condições Influencia da carga de trabalho do sistema Engloba diversas fases: tempo de espera por um trabalho comprimento de uma fila por um recurso tempo de processamento Valores médios/máximos/mínimos/distribuições

36 Medidas de Desempenho Troughput –Taxa de pedidos que podem ser servidos pelo sistema (pedidos por unidade de tempo) –Capacidade nominal –Troughput geralmente aumenta até certo ponto, depois começa a cair –Eficiência Medidas orientadas ao sistema

37 Medidas de Desempenho Utilização –Fração de tempo em que o recurso está ocupado –Relação entre o serviço útil executado e a carga máxima suportada pelo sistema (processador por exemplo) Avalia quão bem os vários elementos do sistema estão sendo utilizados Medidas orientadas ao sistema

38 Medidas de Desempenho Disponibilidade –fração de tempo em que o sistema está disponível pode ser utilizada como uma medida de desempenho, apesar de medir aspectos de confiabilidade; algumas medidas úteis: tempo de vida; intervalo de disponibilidade; MTTF (mean time to failure); MTTR (mean time to repair); MTBF (mean time between failures).

39 Medidas de Desempenho Produtividade do Sistema Indica como o usuário pode submeter o seu trabalho; Indica o grau de facilidade oferecido pelo sistema; Aspectos de manutenção do sistema; Existe certa dificuldade para quantificar esse item.

40 Medidas de Desempenho Custo/Desempenho –melhor relação Confiabilidade –tempo provável em que o sistema fica livre de erros

41 Medidas de Desempenho -Fabricantes apresentam números de pico de MIPS e MFLOPS superiores aos reais, valores obtidos em situações ideais -Comparação entre máquinas com conjunto de instruções diferentes – CISC X RISC MIPS Milhões de Instruções por Segundo MFLOPS Milhões de Instruções de Ponto Flutuante por Segundo

42 Medidas de Desempenho MIPS e MFLOPS são relevantes quando aplicados em computadores de mesma arquitetura para análise comparativa –Apresentam características similares de hardware e software –Números de MIPS e MFLOPS mais coerentes

43 Avaliação de Desempenho Qual ou quais das medidas acima devem ser consideradas? Depende da aplicação (do tipo do sistema): Uso Geral tempo de resposta e utilização desempenho; disponibilidade confiabilidade. Alta Disponibilidade (bancos, res. aéreas, etc.) tempo de resposta, disponibilidade e produtividade desempenho.

44 Avaliação de Desempenho Qual ou quais das medidas acima devem ser consideradas? Tolerantes a Falhas Disponibilidade e recuperação desempenho Tempo Real tempo de resposta e carga de trabalho desempenho. Orientados a Missão disponibilidade desempenho.

45 Avaliação de Desempenho Qual ou quais das medidas acima devem ser consideradas? Cuidado

46 Avaliação de Desempenho Aeronave Boeing 747 BAD/Sud Concorde Velocidade 610 mph 1350 mph Washington a Paris 6.5 horas 3 horas

47 Avaliação de Desempenho Passageiros 470 132 Throughput (pmph) 286,700 178,200 Aeronave Boeing 747 BAD/Sud Concorde Velocidade 610 mph 1350 mph Washington a Paris 6.5 horas 3 horas Tempo para executar a tarefa –tempo de resposta, latência Tarefas por dia, por hora, etc. –Throughput, bandwidth

48 Avaliação de Desempenho Por quê se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliação? Como medir o desempenho? Que técnicas utilizar? O que medir? Como confiar nas métricas obtidas?

49 Avaliação de Desempenho Como confiar nas métricas obtidas? Avaliação versus Análise Qual a diferença? Avaliar obter, produzir, levantar dados a respeito de uma entidade; exemplo: determinar o consumo de um automóvel usar alguma técnica para medir a distância percorrida e o volume de combustível consumido;

50 Avaliação de Desempenho Avaliação versus Análise Qual a diferença? Analisar verificar a precisão, a validade, o significado da grandeza produzida durante a avaliação. exemplo: se a avaliação do automóvel levou a 20 Km/litro de gasolina, então a análise se preocupa em se certificar que: a metodologia utilizada foi correta; que os números levantados são suficientemente precisos; e, então, conclui se o desempenho avaliado é bom, ruim, etc.

51 Pontos Importantes para a Avaliação de Desempenho 1. Entendimento completo do sistema, dos problemas e dos objetivos da avaliação 2. Abordagem sistemática 3. Não devem ser considerados parâmetros, cargas, métricas, etc. arbitrários. 4. Definição de uma carga de trabalho característica 5. Definição da metodologia mais apropriada 6. Definição do nível de detalhamento 7. Análise dos resultados 8. Considerar os limites, suposições e margem de erro

52 Avaliação de Desempenho 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho

53 Etapas a serem consideradas 1. Estudar o sistema e definir os objetivos 2. Determinar os serviços oferecidos pelo sistema 3. Selecionar métricas de avaliação 4. Determinar os parâmetros que afetam o desempenho do sistema 5. Determinar o nível de detalhamento da análise 6. Determinar a Técnica de Avaliação apropriada 7. Determinar a carga de trabalho característica 8. Realizar a avaliação e obter os resultados 9. Analisar e interpretar os resultados 10. Apresentar os resultados Planejamento de Experimento Análise dos Resultados Técnica de Avaliação

54 Avaliação de Desempenho 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos BásicosConceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho