Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de.

Apresentação em tema: "Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de."— Transcrição da apresentação:

1 Avaliação de Desempenho Planejamento de Experimentos 2 Aula 2 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação

2 Conteúdo – Parte II 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalhoCarga de trabalho Modelos para Planejamento de Experimento 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

3 Caracterização de Carga de Trabalho Conclusão: Na avaliação de desempenho de um sistema é muito importante considerar a carga de trabalho real do sistema

4 Carga de Trabalho Conjunto de todas as informações de entrada que um sistema recebe durante qualquer período de tempo determinado [MENASCÉ, ALMEIDA, 2003] Muito importante no planejamento de capacidade e na avaliação de sistemas

5 Procedimento para determinar Carga de Trabalho I. Determinar que tipo de caracteristica é importante ser representada Depende do objetivo da avaliação Exemplo: Qual a carga que devemos considerar para avaliar um sistema computacional?

6 Um Sistema Computacional pode ser subdividido em 4 camadas que executam as seguintes operações: 1.Camada de aplicação que recebe as transações e envia comandos para o SO 2.Sistema Operacional que recebe os comandos e serviços e envia instruções para a CPU 3.CPU que divide as instruções em instruções aritméticas e lógicas e as envia para a ULA 4.ULA – executa instrução Qual tipo de carga de trabalho deve ser considerada? Carga de Trabalho

7 Depende da camada a ser analisada 1.Camada de aplicação que recebe as transações e envia comandos para o SO Freqüência dos diferentes tipos de transações efetuadas 2.Sistema Operacional que recebe os comandos e serviços e envia instruções para a CPU Conjunto de comandos e serviços oferecidos pelo SO 3. CPU que divide as instruções em instruções aritméticas e lógicas e as envia para a ULA Conjunto de Instruções 4. ULA – executa instrução Freqüência e tipo das instruções aritméticas

8 Caracterização de Carga de Trabalho e do Tempo de Serviço II. Nível de detalhe a ser considerado Várias possibilidades: a – Utilizar as requisições mais freqüentes b – Considerar os vários tipos de requisições e suas freqüências c – Trace: Seqüência de requisições com timestamp d – Utilizar valores médios e – Utilizar distribuições de probabilidade

9 Caracterização de Carga de Trabalho e do Tempo de Serviço III. Verificar a representatividade da carga de trabalho Três Aspectos importantes: a – Taxa de chegada b – Demanda por recurso c – Seqüência e demanda por diferentes recursos IV. Atualização da carga de trabalho

10 Tipos Básicos de Carga de Trabalho Precisamos agora de uma forma para representar a carga de trabalho. Basicamente, duas formas: 1.Carga de trabalho Real 2.Carga de trabalho Sintética

11 Tipos Básicos de Carga de Trabalho Real – Observada no sistema real em operação normal. Vantagem: –Precisão Desvantagens: –Não pode ser repetida com facilidade –Arquivos de Trace -> arquivos muito grandes

12 Tipos Básicos de Carga de Trabalho Sintética – Carga com características similares às reais Vantagens: Pode ser repetida de forma controlada Não necessita de arquivos com dados reais Carga pode ser facilmente modificada Pode ser transportada para diferentes sistemas Problema: Determinar a distribuição mais apropriada para o sistema em avaliação.

13 Etapas a serem consideradas 1. Estudar o sistema e definir os objetivos 2. Determinar os serviços oferecidos pelo sistema 3. Selecionar métricas de avaliação 4. Determinar os parâmetros que afetam o desempenho do sistema 5. Determinar o nível de detalhamento da análise 6. Determinar a Técnica de Avaliação apropriada 7. Determinar a carga de trabalho característica 8. Realizar a avaliação e obter os resultados 9. Analisar e interpretar os resultados 10. Apresentar os resultados Planejamento de Experimento Análise dos Resultados Técnica de Avaliação

14 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de ExperimentoModelos para Planejamento de Experimento 2.Técnicas para Avaliação de Desempenho 3.Análise de Resultados

15 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de ExperimentoModelos para Planejamento de Experimento 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho

16 Tipos de Planejamento de Experimentos Planejamento Simples Planejamento Fatorial completo Planejamento Fatorial parcial

17 Tipos de Planejamento de Experimentos Planejamento Simples –Iniciar com uma configuração inicial –Fixar todos os fatores e variar um fator por vez –Verificar que fator afeta o desempenho –Fácil de ser implementado –Não permite verificar a relação entre os fatores –Estatisticamente não eficiente

18 Tipos de Planejamento de Experimentos Planejamento Simples –Para um experimento com K fatores e n i níveis no fator i, tem-se: –Exemplo do servidor de arquivos

19 Fator 1 Microprocessador a ser utilizado 3 níveis: Pentium IV; Athlon XP; Pentium IV com Hyper Thread Fator 2 Quantidade de Memória 4 níveis: 512 M bytes; 1 G bytes; 2G bytes; 4G bytes Fator 3 Quantidade de Cache 3 níveis: 256 K bytes; 512 K bytes; 1 M bytes Fator 4 Número de Discos : 3 níveis: Dois; Três; Quatro Planejamento de Experimentos Exemplo do Servidor de arquivos – 4 fatores n= 1+(3-1)+(4-1)+(3-1)+(3-1) = 10

20 Tipos de Planejamento de Experimentos Planejamento Simples –Não recomendado –Muito utilizado

21 Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado – Porque? –Ex. Aquário

22 Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado – Porque? –Fatores: 1.Número de garrafas de cerveja: 10, 100, 1000 2.Espessura do vidro: 2mm, 5mm, 10mm 3.Quantidade de gelo: 0,5 kg, 1Kg, 10Kg –Variável de Resposta: Tempo necessário para diminuir a temperatura de cerveja em 30 graus

23 Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado – –1o. Experimento, fixo: Esp = 5mm; no. Garrafas = 10 gelo = 0,5 Kg -> Saída = 2 minutos gelo = 1 Kg -> Saída = 2 minutos gelo = 10Kg -> Saída = 2minutos – Mas.... 2o. Experimento, fixo: Esp = 5mm; no. Garrafas = 100 gelo = 0,5 Kg -> Saída = 30 minutos gelo = 1 Kg -> Saída = 20 minutos gelo = 10 Kg -> Saída = 20 minutos

24 Tipos de Planejamento de Experimentos Planejamento Simples - Não recomendado – Porque? –3o. Experimento, fixo: Esp = 5mm; no. Garrafas = 1000 gelo = 0,5 Kg -> Saída = XX minutos gelo = 1 Kg -> Saída = 3horas Gelo = 10Kg -> Saída = 1 hora

25 Tipos de Planejamento de Experimentos Planejamento Totalmente Fatorial –Utiliza todas as combinações considerando todos os fatores e todos os níveis –Para um experimento com K fatores e n i níveis no fator i, tem-se: –Para o exemplo da estação de trabalho tem-se: n = 3 (CPU)*4(memória)*3(cache)*3(no. discos) n= 108

26 Tipos de Planejamento de Experimentos Planejamento Totalmente Fatorial Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas Desvantagens Grande número de experimentos Alto custo para avaliação

27 Planejamento Totalmente Fatorial Formas para minimizar custos 1. Reduzir o número de níveis de cada fator Altamente recomendada Selecionar dois níveis para cada fator a ser analisado – número de experimentos reduzido para 2 k Analisar os resultados e selecionar os fatores primários Analisar os fatores primários para um número maior de níveis

28 Planejamento Totalmente Fatorial Formas para minimizar custos 2. Reduzir o número de fatores Deve ser implementada com cuidado. Por exemplo, utilizando forma 1. Se não for utilizada uma metodologia adequada podem estar sendo desconsiderados fatores com grande influência para as variáveis de resposta

29 Planejamento Totalmente Fatorial Formas para minimizar custos 3. Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a interação não existe ou é insignificante Por exemplo, no servidor de arquivos tem-se 108 experimentos. Pode-se dizer que o número de discos não tem relacionamento com a quantidade de cache Mais rápido Obtém-se menos informações

30 Método Fatorial Pelo método fatorial pode-se ter k fatores com n i níveis para cada fator i Para valores elevados de K e n i o custo da avaliação pode tornar-se inviável, principalmente lembrando-se que diversas execuções de cada experimento devem ser consideradas. Forma recomendada: Selecionar poucos fatores e 2 níveis por fator. Para entender a abordagem utilizada para a análise inicia-se com 2 fatores contendo 2 níveis em cada um - 2 2

31 Projeto Fatorial 2 2 Análise através do modelo de regressão Considere um problema analisando dois fatores (A e B) Quatro experimentos são efetuados obtendo-se os valores y 1, y 2, y 3, y 4 Os quatro experimentos consideram a seguinte seqüência ExperimentoABy 1 y1y1 21 y2y2 3 1y3y3 411y4y4

32 Projeto Fatorial 2 2 Modelo para projeto 2 2 é dado por: y = q 0 + q A x A + q B x B + q AB x AB Substituindo-se as quatro observações no modelo, obtêm-se os valores de q 0, q A, q B, q AB q 0 = ¼ *(y 1 + y 2 + y 3 + y 4 ) q A = ¼ *(-y 1 + y 2 - y 3 + y 4 ) q B = ¼ *(-y 1 - y 2 + y 3 + y 4 ) q AB = ¼ *(y 1 - y 2 - y 3 + y 4 )

33 Projeto Fatorial 2 2 A partir dos valores de q 0, q A, q B, q AB pode-se determinar a soma dos quadrados A soma dos quadrados dará a variação total das variáveis de resposta e as variações devido a influência do fator A, do fator B e da interação entre A e B Variância Total de y ou Soma dos Quadrados Total – ou

34 Projeto Fatorial 2 2 1.A soma das entradas em cada coluna = 0 ExperimentoABy 1 y1y1 21 y2y2 3 1y3y3 411y4y4 2. Soma dos quadrados em cada coluna = 4 3. Produto interno de cada duas colunas = 0

35 Projeto Fatorial 2 2 A Média da Amostra é dada por: Modelo considerado: y = q 0 + q A x A + q B x B + q AB x AB

36 Projeto Fatorial 2 2 Variação total - SST:

37 Projeto Fatorial 2 2 Soma dos Quadrados devido a influência do Fator A Soma dos Quadrados devido a influência do Fator B Soma dos Quadrados devido a interação entre os Fatores A e B Influência do Fator A = SSA / SST Influência do Fator B = SSB / SST Influência da interação entre os Fatores A e B = SSAB/SST

38 Projeto Fatorial 2 2 Interpretações possíveis a partir desses resultados: –Média da variável de resposta – q 0 –Qual a variação da variável de resposta devido ao fator A –Qual a variação da variável de resposta devido ao fator B –Qual a variação devido a interação entre os fatores A e B –De que fator a variável de resposta é mais dependente? –Algum dos fatores observados pode ser desprezado? –A interação entre os fatores observados é considerável?

39 Projeto Fatorial 2 2 Exemplo: Avaliação de duas redes de comunicação em uma máquina paralela com: 16 processadores Escalonamento aleatório Não existe problema de acesso a memória – interleaving de memória infinito Redes utilizam Chaveamento de circuito – conexão é estabelecida da fonte ao destino e pacotes são enviados (ex. telefone) Requisições não atendidas são bloqueadas

40 Fatores Considerados Duas formas de acesso a memória – Fator B Aleatório – probabilidade uniforme de referenciar cada posição de memória – Nível = -1 Matriz – simula uma multiplicação de matrizes – Nível = 1 Duas Redes de Interconexão – Fator A Omega – Nível = 1 Crossbar – Nível = -1

41 Tipos de Redes de Interconexão Consideradas

42 Resultados Obtidos Variáveis de Resposta –Throughput - T –Ciclos para transmissão - N –Tempo de Resposta – R FatoresVariáveis de Resposta A (rede)B(Acesso)TNR -1(C)-1(A)0,604131,655 1(O)-1 (A)0,792221,262 -1(C)1(M)0,422052,378 1(O)1 (M)0,471742,190

43 FatoresVariáveis de Resposta IA (rede)B(Acesso)ABTNR 1-1(C)-1(A)10,604131,655 11(O)-1 (A)0,792221,262 1-1(C)1(M)0,422052,378 11(O)1 (M)10,471742,190 ParâmetroMédia EstimadaVariação % TNRTNR q0q0 0,57253,51,871 qAqA 0,0595-0,5-0,14517,22010,9 qBqB -0,12571,00,41377,08087,8 q AB -0,034600,0515,801,3 SSA/SST=0.0595 2 /(0,0595 2 +0,1257 2 +0,0346 2 )

44 ParâmetroMédia EstimadaVariação % TNRTNR q0q0 0,57253,51,871 qAqA 0,0595-0,5-0,14517,22010,9 qBqB -0,12571,00,41377,08087,8 q AB -0,034600,0515,801,3 Média das variáveis de Resposta – q 0 Influência de cada fator Fator com maior influência Grau de interação entre os fatores

45 Mais Um Exemplo... Trabalho desenvolvido na disciplina de Avaliação de Desempenho da pós graduação em Ciências de Computação e Matemática Computacional Avaliação de desempenho de políticas para o meta-escalonador em um ambiente Grid Maycon Leone M. Peixoto

46 Avaliação de Escalonamento em Grades

47 Escalonamento em Grid é um tema bem discutido atualmente. –Algoritmos: RR, Workqueue... O Meta-Escalonador exerce as funções de: – Gerência das tarefas (submissão, pausa, finalização.). – Gerência dos recursos. – Adoção de políticas de uso.

48 Avaliação de Escalonamento em Grades Objetivo Utilizar os conceitos adquiridos na disciplina de avaliação de desempenho para determinar o comportamento das políticas utilizadas pelo Meta-Escalonador no ambiente de simulação GridSim.

49 Avaliação de Escalonamento em Grades São considerados quatro fatores e dois níveis para construção do planejamento de experimentos: –Número de usuários: 5 e 30 –Políticas Externas: Round Robin e Counter Load Balanced. –Número de Tarefas: 50 e 100 –Número de Recursos: 2 e 4 (homogêneos)

50 Avaliação de Escalonamento em Grades Políticas Externas RR Round Robin CLB Counter Load Balanced

51 Avaliação de Escalonamento em Grades Variavéis de Resposta: – Custo = Tempo de resposta x 3$. – Throughput. Algumas constantes adotadas no experimento, segundo a Tabela 1:

52 Avaliação de Escalonamento em Grades Taxa de Chegada: distribuição exponencial negativa com media 2 A carga de trabalho é composta por: Tamanho (MIPS): representa o total de computação desejado por aquele objeto tamanho do arquivo a ser transmitido sobre a rede (bytes) tamanho do arquivo de retorno com a resposta (bytes)

53 Avaliação de Escalonamento em Grades

54

55

56 Projeto Fatorial 2 k Utilizado para avaliar experimentos com k fatores com 2 níveis cada Análise similar ao 2 2 Para k = 3........

57 Projeto Fatorial 2 k Problema com o Projeto Fatorial 2 k Para k = 2 – 4 experimentos Para k = 3 - 8 experimentos Para k = 4 – 16 experimentos........ Solução – Planejamento Fatorial Parcial - 2 k -p 1.Muitos fatores devem ser avaliados 2.Sabe-se que existem fatores que não interagem 3.Deseja-se determinar quais fatores realmente influenciam no resultado

58 Planejamento Fatorial Parcial - 2 k -p k número total de fatores a serem considerados p número inteiro - quantas dimensões serão desprezadas Exemplo: p=1 reduz os experimentos a metade p=2 um quarto dos experimentos k=7 128 experimentos p=4 8 experimentos Neste caso não é possível avaliar as interações k=7 128 experimentos p=5 16 experimentos Algumas interações podem ser avaliadas

59 Projeto Fatorial 2 2 1.A soma das entradas em cada coluna = 0 ExperimentoABy 1 y1y1 21 y2y2 3 1y3y3 411y4y4 2. Soma dos quadrados em cada coluna = 4 3. Produto interno de cada duas colunas = 0

60 Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7 -4 Devo satisfazer as mesmas condições que 2 2 Modelo Similar:

61 Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7 -4

62 Planejamento Fatorial Parcial - 2 k -p Exemplo (Jain) 2 7 -4 37,26 4,74 43,40 6,75 0 8,06 0,03 Variação em porcentagem

63 Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo (Jain) 2 4-1

64 Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo (Jain) 2 4-1 Coluna D Influência do fator D + interação entre A, B e C

65 Planejamento Fatorial Parcial - 2 k -p Como determinar a soma das influências Exemplo (Jain) 2 4-1 I = ABCD A=BCD B=ACD C=ABD D=ABC Regras: I = Identidade – Média X.I = X X 2 = 1 I = ABCD AB=CD BC=AD AC=BD

66 Planejamento Fatorial Parcial - 2 k -p Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições Exemplo 19.2 (Jain) Considere um sistema que possa ser utilizado para: Processamento de textos, Processamento de dados interativo, Processamento de dados em background FatorDescrição nível -1nível +1 APreempção nãosim BQuantump/ cd procpequenogrande CFilas (prioridade p/ quantum)uma filaduas filas DClasses para as tarefasduas filascinco filas EJustiça (pref. p/ tarefa antiga)desligadoligado Analisar cada caso independentemente

67 Planejamento Fatorial Parcial - 2 k -p Exemplo 19.2 (Jain) Throughput para proc dados Throughput para proc dados em batch Throughput para dados interativos Planeja- mento 2 5-1

68 Planejamento Fatorial Parcial - 2 k -p Exemplo 19.2 (Jain) Throughput para proc dados Throughput para dados interativos Throughput para proc dados em batch

69 Planejamento de Experimento Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos. Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos. Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis, tratamento de replicações, etc. Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

70 Erros Comuns em Experimentos Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

71 Conteúdo 1.Planejamento de Experimentos –Motivação –Introdução à Avaliação de Desempenho –Etapas de um Experimento –Planejamento do Experimento Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento 2.Análise de Resultados 3.Técnicas para Avaliação de Desempenho