Avaliação de Desempenho Aula 8 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos.

Apresentação em tema: "Avaliação de Desempenho Aula 8 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos."— Transcrição da apresentação:

1 Avaliação de Desempenho Aula 8 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Marcos José Santana Regina Helena Carlucci Santana Aferição de Sistemas Computacionais Benchmarks

2 Conteúdo 1.Planejamento de Experimentos 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho –Visão Geral das Técnicas para Avaliação de Desempenho –Técnicas de Aferição: Protótipos, Benchmarks e Monitores –Técnicas de Modelagem: Solução Analítica e por Simulação

3 Benchmarcks Técnicas de Avaliação de Desempenho Protótipos Coleta de Dados Aferição Rede de Filas Redes de Petri Statecharts Modelagem Aferição

4 Benchmarks Origem Estabelecimento de uma marca (mark) em uma mesa de trabalho para permitir medições Ponto fixo ou referência para comparações

5 Benchmarks Instrumento fixo, que permite comparar um novo registro (mark - marca) a um padrão preestabelecido, a partir de um ponto de observação (bench - banco) Exemplos: –Tábua das mares –Termômetro

6 Benchmarks ALTURA NÍVEL DA MARÉ 1,00m – 1,50mMaré alta 1,60m - 1,70mObservação 1,80mAtenção Tábua das mares

7 Benchmarks Termômetro Vinho T = 38 O Febre!!! T = 36,5 O Normal Benchmark!!

8 Técnicas de Aferição Benchmarks Programa escrito em linguagem de alto nível, representativo de uma classe de aplicações, utilizado para medir o desempenho de um dado sistema ou para comparar diferentes sistemas

9 Benchmarks –Abordagem muito utilizada para a avaliação de desempenho por aferição –Ponto de referência que serve para fazer medições e comparações –Uso: Comparar desempenho de máquinas diferentes Reprojetar hardware e software Decidir sobre aquisição de sistemas Ajudar na otimização de programas Previsão de desempenho de aplicações em computadores específicos

10 Permitem avaliar o sistema como um todo, incluindo aspectos relacionados com: –Arquitetura do sistema –Eficiência do compilador –Sobrecarga do sistema operacional –Sobrecarga de comunicação –Identificam pontos fortes e fracos de um sistema em particular ou de aplicações Benchmarks

11 Como escolher um benchmark? –Ideal -> aplicação do usuário –O ideal pode ser inviável quando os sistemas são de propósito geral –Utilização de benchmarks representativos de alguma categoria Programa que possa ser avaliado facilmente Programa que possua larga distribuição

12 como escolher um Benchmark: programa escrito em linguagem de alto nível; representativo de alguma categoria de programação; programa que possa ser avaliado facilmente; programa que possua larga distribuição. Benchmarks

13 Divididos em: –Benchmark de componente; –Benchmark de sistema; –Benchmark de aplicação – utiliza programas representativos –Benchmark sintético - imitam ambientes de execução de programas reais. Geram dados estatísticos Benchmarks

14 Classificação quanto a arquitetura: –seqüenciais; –paralelas; Comitê Parkbenck (Parallel Kernels and Benchmarks) Benchmarks

15 Onde usar benchmark? –avaliar sistemas computacionais diferentes; –avaliar o desempenho mínimo; –tarefas genéricas ou específicas.

16 Áreas de Aplicação e Objetivos Três grandes áreas: –projeto não aplicável –avaliação aplicável, porém insuficiente –seleção técnica ideal

17 Medidas de Desempenho Freqüentemente Utilizadas Comum aos outros casos: –Tempo de resposta, –Utilização, –Throughput, –Tempo/Tamanho de filas. Freqüência de clock - MHZ –Pode ser UMA medida –Problemas – É necessário considerar: Arquitetura do processador Velocidade e quantidade de memória Disco

18 Medidas de Desempenho Freqüentemente Utilizadas -Fabricantes apresentam números de pico de MIPS e MFLOPS superiores aos reais, valores obtidos em situações ideais -Comparação entre máquinas com conjunto de instruções diferentes – CISC X RISC MIPS Milhões de Instruções por Segundo MFLOPS Milhões de Instruções de Ponto Flutuante por Segundo

19 Medidas de Desempenho Freqüentemente Utilizadas MIPS e MFLOPS são relevantes quando aplicados em computadores de mesma arquitetura para análise comparativa –Apresentam características similares de hardware e software –Números de MIPS e MFLOPS mais coerentes

20 Aspectos Relacionados aos Benchmarks –Quando os resultados dos Benchmarks forem interpretados, deve-se conhecer: –arquitetura do processador; –processadores; –clock; –barramento; –memória e caches; –disco rígido; –sistema operacional; –compilador –etc.

21 Problemas... -Sistemas com configurações diferentes geram medidas de desempenho diferentes -Otimização do compilador: influencia diretamente no desempenho medido Aspectos Relacionados aos Benchmarks

22 Sequencial x Paralelo Sequencial –todas as considerações acima Paralelo –todas as considerações acima –poder de processamento não é o único fator determinante da eficiência. Muito depende do quão inato é o paralelismo da aplicação, e qual a magnitude deste paralelismo pode ser explorado pela máquina Sistemas Sequenciais e Paralelos

23 Tipos de Benchmarks Benchmarks mais comums Whetstone, Linpack, Dhrystone Outros programas de Benchmarks Stanford Small Programs Benchmark Set EDN Benchmarks Sieve of Eratosthenes Livermore Fortran Kernels Perfect Club Benchmarks SPEC Benchmarks EuroBen Benchmarks

24 Tipos de Benchmarks Whetstone –Primeiro grande programa da literatura escrito para Benchmarking –Elaborado para análise de programação numérica de ponto flutuante intensivo –Apenas a versão Pascal é oficialmente controlada –resultado: número de loops por segundo

25 Tipos de Benchmarks Características do Whetstone –Possui alto percentual de dados e operações de ponto flutuante –Alto percentual de tempo de execução é gasto em funções matemáticas –Ao invés de variáveis locais, Whetstone utiliza muitos dados globais

26 Whetstone Ranking das melhores máquinas Whetstone 97 Última atualização – setembro 2006 MWips, million whetstones instructions per second http://www.cse.clrc.ac.uk/disco/Benchmarks/whetstone.shtml (Setembro 2006) http://homepage.virgin.net/roy.longbottom/whetstone%20results.htm (Dezembro de 2007)

27 RankMachineMflop ratings (Vl=1024)Total CPUMWIPS N2N3N8(seconds) 1Intel Woodcrest 3.0GHz 4MBL2 DC1966458829073.310560 2Intel Woodcrest 3.0GHz-533 4MBL2 DC1966458830693.310451 3IBM eServer p5 570/1.91966 16256.26219 4SunFire V20 2.2GHz (EKO)1311129814817.74496 5IBM eServer p5 575/1.51966152913157.84874 6AMD Opteron852/2600 (EKO 2.2)1513154717718.14488 7HP DL380 Pentium4/3600 (EM64T)196617206078.44408 8Dell PowerEdge 1850/3600 1MBL2196617206078.44351 9Dell PowerEdge 1850/3600 2MBL2196617206078.54370 10AMD Opteron875/2200 DC (EKO 2.0)1311125114978.64543 VL = Vector loops MWIPS = million whetstones instructions per second N2,N3 e N8 – diferentes instruções de ponto flutuante no loop

28 Tipos de Benchmarks Linpack –Trata-se de um benchmark de Kernel, desenvolvido a partir do Pacote Linpack de Rotinas de Álgebra Linear em 1976 –Foi originalmente escrito e muito utilizado em Fortran, porém possui versão em C –Solução de uma matriz 100x100 utilizando decomposição L/U pelo método de Eliminação de Gauss (Linpack100) –Resultado: MFLOPS

29 Tipos de Benchmarks Características do Linpack –Por ser um benchmark numérico, possui alto desempenho em operações de ponto flutuante. –Resultado é mostrado em Mflops/s –Trata-se de um programa pequeno, portanto muito ágil para ser executado –Maior capacidade com resolução de matrizes 300x300 e 1000x1000

30 Tipos de Benchmarks Dhrystone –Benchmark sintético publicado por seu autor Reinhold Weicker da Siemens Nixdorf em 1984 –Dhrystone é aplicável em sistemas não numéricos com tipos de dados inteiros, como sistemas operacionais, compiladores, editores de texto, etc –Resultado: número de loops por segundo

31 Tipos de Benchmarks Características do Dhrystone –Não analisa operações de ponto flutuante –Processadores RISC possuem melhor desempenho que processadores CISC –Leva em consideração a localidade dos operadores –Para análise de processadores diferentes deve- se utilizar compilações de mesma linguagem para o Dhrystone

32 Tipos de Benchmarks Livermore Fortran Kernels –Este benchmark foi criado em 1970 por F.H. McMahon –Consiste de 24 kernels ou loops de processamento numérico –Analisa desempenho de computadores e compiladores em operações com ponto flutuante

33 Tipos de Benchmarks http://www.osc.edu/supercomputing/computing/metrics.shtml Ohio Supercomputer Center Livermore Fortran Kernels executado em diferentes máquinas

34 Tipos de Benchmarks Sieve of Eratosthenes –Um dos mais famosos para PCs –Também conhecido como Primes –Baseado em cálculo de números primos –É historicamente importante pela frase: A performance de Sieve of Eratosthenes de um compilador em relação a outro, provavelmente vendeu mais compiladores para algumas companhias que qualquer outro benchmark na história

35 Tipos de Benchmarks The Perfect Benchmark –Destina-se a avaliação de desempenho em supercomputadores –Formado por 13 programas de várias áreas da engenharia e científicas –Possui mais de 60.000 linhas de código Fortran

36 Tipos de Benchmarks EuroBen Benchmark Criado pelo EuroBen Group (estabelecido em 1990 por um grupo de pessoas que estava preocupada em obter um perfil de performance em computadores científicos de alta performance) Idéia principal: Caracterizações de performance com medidas genéricas para computadores de alto desempenho não podem ser feitas, especialmente entre arquiteturas vetoriais e paralelas

37 Tipos de Benchmarks EuroBen Benchmark –Medidas relevantes para avaliação de desempenho em: (exemplos) Banco de Dados: Transações por segundo Programas Científicos: número de operações por segundo Redes: Taxa de transferência –Portanto, EuroBen enfatiza a(s) característica(s) principais de cada tipo de aplicação em sua análise de desempenho http://www.euroben.nl/reports.html EuroBen Benchmark reports and Overview of recent supercomputers

38 Tipos de Benchmarks SPEC Benchmarks –SPEC (System Performance Evaluation Cooperative ou Standard Performance Evaluation Corporation) fundada em Outubro de 1988 por Apollo, Hewlett-Packard, MIPS e Sun Microsystems. –Possui como meta, realismo de medidas de sistemas computacionais avançados para a indústria e educação dos consumidores quanto aos aspectos de desempenho.

39 Tipos de Benchmarks SPEC Benchmarks –CPU –Aplicações Gráficas –Aplicações de Alto Desempenho MPI e OpenMP –Cliente/Servidor Java Projetado para medir o desempenho de servidores rodando aplicações Java –Mail Servers Mede desempenho de servidores de e-mail –Network File Systems –Web Servers Simula usuários enviando requisições

40 Benchmarks para Arquiteturas Paralelas e Sistemas Distribuídos: problemas com MIPS e MFLOPs não basta somá- los: comunicação; balanceamento; etc. cada tipo de arquitetura benchmark específico; Exemplos: PING e PING-PONG: utilizados na avaliação de comunicação; TTCP: avaliação de comunicação usando TCP ou UDP. Benchmarks

41 WebStone Desenvolvido pela Silicon Graphics Objetivo: Medir desempenho de software e hardware de servidores Web Versão 2.0.1 Testa o servidor Web server, incluindo sistema operacional, CPU e velocidade de acesso a rede. Não testa influência da velocidade de acesso ao disco Principais medidas –Throughput máximo –Tempo médio de resposta

42 WebStone Arquitetura –Processos mestre e clientes computação distribuída clientes geram requisições ao servidor mestre recolhe dados e gera um relatório final

43 WebStone Carga –Parâmetros de especificação Número de clientes think time = 0 Tipo de página tamanho e freqüência de acesso Número de páginas Número de máquinas clientes –Métodos de acesso: HTML- retorna um arquivo para o cliente CGI – executa outro programa utilizando o protocolo Common Gateway Interface API – passa a requisição para a Application Programming Interface

44 WebStone Resultados

45 httperf Ferramenta para medir o desempenho de servidores Web Gera várias cargas HTTP Arquitetura –Maior independência do SO Única thread Mecanismo próprio de Timeout –Três módulos HTTP –Gerenciamento de conexões –Geração de requisições http Geração de carga –Regras para a geração de requisições Coleta de estatísticas

46 httperf Carga –Conexões persistentes e requisições em cascata –Geradores de carga Geração de requisições –Requisições a uma taxa fixa. Padrão 1 req/con –Sessões a uma taxa fixa. 1 sessão várias rajadas de requisições. Think time 0. Geração de URLs –Seqüência de URLs que devem ser acessadas no servidor.

47 httperf Resultados

48 httperf Resultados

49 Surge Simula uma coleção de usuários acessando um servidorWeb Arquitetura –Conjunto de clientes conectados a um servidor Web –Cliente Conjunto de threads especificado pelo usuário requisições a documentos no servidor estados ON e OFF –ON transferência de arquivos –OFF Ativo e Inativo

50 Concluindo.... Benchmarks podem ser utilizados para verificar diversos tipos de sistemas... –Servidores Web, –Banco de dados, –Processadores, –Redes de comunicação

51 Concluindo.... sendo utilizados com diferentes objetivos... Codificação de vídeo e edição de imagens, Jogos, Processamento intensivo, Processamento de textos, etc.

52 Concluindo.... Querendo avaliar diferentes características... Produtividade Desempenho Confiabilidade, etc.

53 O importante é... Escolher o Benchmark adequado, Aplicar o Benchmark de forma adequada, Analisar os resultados obtidos com critério.

54 Técnicas de Aferição