Arquitectura de Computadores Avaliação do desempenho A definição do desempenho depende dos objectivos dos utilizadores Qual é o melhor avião?Qual é o mais rápido? Qual é o mais rápido para levar 450 pessoas a um destino situado a 3800 milhas de distância? Conclusão: O desempenho depende dos objectivos e da carga AviãoCapacidadeAutonomia (milhas) Velocidade (milhas/hora) Boeing Boeing Concorde Douglas DC

Arquitectura de Computadores Avaliação do desempenho Minimização do tempo de desempenho vs. Maximização do débito (throughput) Qual destas métricas é optimizada se: –Trocarmos o processador por um mais rápido? –Acrescentarmos mais processadores? Vamos-nos concentrar em tempo de execução Desempenho =

Arquitectura de Computadores Avaliação do desempenho O desempenho de uma máquina depende do tipo de carga: –Resolução numérica de matrizes (CPU + memória) –Sistema de transacções em bases de dados distribuídas (rede + disco) –Jogos (CPU + placa gráfica) O desempenho deve ser medido usando uma carga (workload) equivalente à carga real: –Problema: existe uma carga que descreve todos os utilizadores?

Arquitectura de Computadores Avaliação do desempenho A utilização de pequenos programas de avaliação do desempenho (toy applications e kernels) é desaconselhada porque: –estes não reflectem com precisão o tipo de carga a que o utilizador vai submeter a máquina; –podem ser introduzidas na máquina e/ou nos compiladores características que melhoram especificamente e exclusivamente estes programas de teste. São utilizados numa fase inicial de projecto pois são adequados para simulação.

Arquitectura de Computadores Avaliação do desempenho SPEC89 – 99% do tempo de execução da matrix300 é passado numa única linha de código, podendo ser melhorada com optimizações específicas: qual a vantagem para o utilizador final? E para o vendedor?

Arquitectura de Computadores Avaliação do desempenho MIPS (milhões de instruções por segundo) –Vantagens: Fácil de entender Geralmente, maior MIPS significa maior velocidade –Desvantagens: Não considera o trabalho realizado por cada instrução Depende da combinação de instruções, variando com os programas Pode variar inversamente com o desempenho. Ex: CPU 500 MHz Armadilhas: peak e sustained MIPS 1 CPI2 CPI3 CPI Compilador 15* *10 9 Compilador 210 * *10 9 Calcular Texec e MIPS

Arquitectura de Computadores Avaliação do desempenho MFLOPS – milhões de operações de vírgula flutuante por segundo –Sofre de muitos dos problemas do MIPS: O valor calculado depende da combinação de operações! Uma adição e uma raiz quadrada devem contar, cada uma, como uma FLOP? –Cuidado com os valores peak e sustained.

Arquitectura de Computadores Avaliação de desempenho SPEC CPU2000 ( Teste de referência para avaliar o desempenho do processador, memória e compilador em aplicações de computação intensiva –Composta por 26 aplicações (12 com inteiros e 14 com FP) escritas em C, C++ e Fortran90 –São calculadas as métricas SPECint_base2000, SPECint2000, SPECfp_base2000, SPECfp2000 –Cada métrica é dada pela média geométrica dos resultados normalizados com os resultados publicados pela SPEC e obtidos com uma SUN Ultra5_10, 300 MHz.

Arquitectura de Computadores Avaliação do desempenho