MSCC - Introdução Baseado no capítulo 1 do livro Performance Evalution of Computer and Communication Systems, de Jean-Yves Le Boudec (EPFL)

Apresentação em tema: "MSCC - Introdução Baseado no capítulo 1 do livro Performance Evalution of Computer and Communication Systems, de Jean-Yves Le Boudec (EPFL)"— Transcrição da apresentação:

1 MSCC - Introdução Baseado no capítulo 1 do livro Performance Evalution of Computer and Communication Systems, de Jean-Yves Le Boudec (EPFL)

2 Metodologia p/ AD Avaliação de Desempenho: quantificar um serviço desempenhado (entregue) por sistema de computação ou comunicação – Consumo de energia de um sistema – Tempo de resposta de um serviço web – Carga máxima suportada num dado intervalo – Precisão das respostas – Taxas de erros – etc

3 Metodologia p/ AD Para qualquer caso, é sempre importante definir: – Carga do sistema a ser analisado – Métricas disponíveis para avaliação do sistema – Objetivo pretendido a partir da avaliação Por quê???? Exemplos????

4 Metodologia p/ AD Carga (Workload): – Caracteriza a quantidade e a natureza das requisições (demanda) sobre o sistema – Geralmente caracterizado por estatísticas simples relativas à intensidade e ao perfil da demanda Ex: média do número de requisições / segundo, valor máximo do número de requisições / segundo. – Dependendo da natureza da requisição (carga), o desempenho pode ser diferente Exemplos???? – Benchmark????

5 Metodologia p/ AD Métricas de desempenho: – Quantidade mensurável que “precisamente” captura uma informação (medida) que se deseja conhecer – Totalmente dependente do sistema sendo avaliado E do tipo de uso que é feito dele! – Dependendo da métrica e do objetivo da avaliação, define-se uma estatística que a represente: Média, mediana, valor de pico...

6 Metodologia p/ AD Métricas de desempenho (cont.): – Geralmente derivada de medições realizadas sobre um sistema (ainda não estamos modelando...) – É importante estar atento às condições durante o momento da medida Por quê???? Exemplos????

7 Metodologia p/ AD Métricas de desempenho (cont.): – Quando se fala em Utilização: É uma carga???? É uma métrica???? Quais fatores (condições) estão envolvidos??? – Processo de amostragem Do que se trata???? No que implica???? – Multidimensionalidade Do que se trata???? No que implica????

8 Metodologia p/ AD Diferentes objetivos de uma AD: – Comparar ou Dimensionar Ao se comparar: – Por que comparar???? Qual a característica deste objetivo? – Quais cuidados tomar???? Ao dimendionar: – Por que é necessário dimensionar???? – Quais cuidados tomar???? Em ambos os casos, como saber se o objetivo foi atingido satisfatoriamente?

9 Metodologia p/ AD Fatores que afetam o desempenho de um sistema: – Diretamente ou indiretamente relacionados ao objetivo de interesse – Identificar quais fatores afetam as medidas de desempenho, mesmo que não estejam diretamente relacionados – Exemplos de ordem prática???

10 Metodologia p/ AD Fatores que afetam o desempenho de um sistema (cont.): – O que seriam os hidden factors??? Exemplos? Como resolver? Limitações? Nuisance factors? Paradoxo de Simpson?

11 Metodologia p/ AD Fatores que afetam o desempenho de um sistema (cont.): – O que seriam os hidden factors???

12 Metodologia p/ AD Métodos de Avaliação: (após definidos objetivos, cargas, métricas e fatores de desempenho) – Medições num sistema real Coletar as medidas necessárias para avaliação do desempenho, computar as métricas e analisar Vantagens? Limitações? Cuidados?

13 Metodologia p/ AD Métodos de Avaliação (cont.): (após definidos objetivos, cargas, métricas e fatores de desempenho) – Criar um modelo (simplificado???) Quais as características? – Solução através de simulação de eventos discretos O que é isso? Vantagens? Limitações? – Pode combinar com o método de medição?

14 Metodologia p/ AD Métodos de Avaliação (cont.): (após definidos objetivos, cargas, métricas e fatores de desempenho) – Criar um modelo (matemático) Quais as características? – Solução através de métodos analíticos O que é isso? Vantagens? Limitações? – Pode combinar com o método de medição?

15 Metodologia p/ AD Métodos de Avaliação (cont.): (após definidos objetivos, cargas, métricas, fatores de desempenho, realizado medidas e criado modelos) – Sempre usar uma metodologia científica! “Nunca acredite numa conclusão a não ser que devidamente testada”

16 Metodologia p/ AD Padrões de comportamento (e desempenho): – De uma maneira geral, os diversos sistemas de computação e comunicação apresentam certo “padrões” que afetam o desempenho – Gargalos associados a determinados componentes do sistema Ex: link de menor capacidade num caminho fim-a-fim Outros exemplos???? Como definir????

17 Metodologia p/ AD Padrões de desempenho (cont.): – Colapso por congestionamento Ex: atrasos de fila em função da taxa de chegada de pacotes Outros exemplos???? Como definir???? – O que seria um colapso por congestionamento causado por um gargalo oculto???? Exemplos???? Como definir???? Qual relação que isto tem com a competição por recurso????

18 Metodologia p/ AD Padrões de desempenho (cont.): – Como se aproveitar do conhecimento dos padrões de desempenho existentes num sistema para fins de avaliação de desempenho???? – Exemplos????

19 Metodologia p/ AD Checklist do Le Boudec: – Defina sua meta (objetivo, gol!) – Identifique os fatores que impactam o desempenho – Defina suas métricas – Definida a carga (demanda) do sistema – Conheça seus gargalos – Conheça bem seu sistema – Selecione um método científico apropriado Hipótese, experimento e validação – Quantifique a acurácia/precisão dos seus resultados

20 Metodologia p/ AD Agora, vamos aplicar o checklist em dois ou três exemplos práticos! – Dividir a turma em grupos (2 ou 3) – Cada grupo escolhe um exemplo prático De preferência, que sejam BEM diferentes entre si Não precisa ser relativo a redes apenas! – Cada grupo elabora e descreve como proceder em cada item do checklist do Le Boudec Mãos à obra!!!!