Abordagem Sistemática Guilherme Amaral Avelino Avaliação e Controle de Sistemas de Informação

Abordagem Sistemática Embora cada projeto seja único, o uso de uma abordagem sistemática facilita a identificação das características do sistema e evita a ocorrência de erros comuns.

Abordagem Sistemática 1. Definição dos objetivos e planos de análise  Reuniões de planejamento que devem resultar em:  Definição clara dos objetivos da Avaliação e Controle de Sistemas de Informação  Cronograma para realização do estudo  Recursos necessários

Abordagem Sistemática 2. Definição do Sistema  O sistema deve ser estudado detalhadamente  Características do sistema a ser analisado  Documentações disponíveis  Conversa com especialistas no assunto  Conversa com as pessoas que operam o sistema  As fronteiras que delimitam o sistema  A escolha dos limites do sistema afetam tanto a carga de trabalho como as métricas.  Uso de técnicas de decomposição em análises mais complexas  Dado o mesmo software e hardware o sistema pode mudar de acordo com o objetivo do estudo  Ex: Dado dois CPUs  Tempo de resposta de um serviço em rede  Melhor unidade de processamento

Abordagem Sistemática 3. Enumeração dos serviços e resultados do sistema  Cada sistema provê um conjunto de serviços  Para um dado sistema a ser estudado devem ser identificados seus:  Serviços realizados  Resultados esperados  Esta lista é importante para seleção correta das métricas e carga de trabalho 4. Seleção de métricas de desempenho  Determinam a forma de se medir um sistema  Volume do trabalho produzido  Velocidade  Precisão  Disponibilidade do sistema  Taxa de erros

Abordagem Sistemática 5. Enumeração dos parâmetros da análise  Valores que determinam o comportamento do sistema  Estão relacionados a características do sistema e da carga de trabalho  Deve-se planejar uma coleta de dados para determinar os parâmetros  Monitoração do sistema real  Projeções sobre um sistema a ser desenvolvido  Parâmetros identificados durante a execução do projeto pode ser adicionado a lista

Abordagem Sistemática 6. Seleção dos fatores a serem estudados  Parâmetros variáveis durante a análise  Seus valores são denominados levels (níveis)  Ex: Diversos tamanhos de memória  Deve se iniciar com uma quantidade pequena de fatores e níveis e estender este número numa próxima fase do projeto se os recursos permitirem  Ex:  Fatores: Quantum e número de usuário  Levels: pequeno e grande  Restrições políticas, financeiras, tecnológicas e impostas pelos tomadores de decisão

Abordagem Sistemática 7. Seleção da carga de trabalho  Define o tipo de serviço e a carga de serviço ao qual sistema deve ser submetido  Deve ser considerada na análise a carga típica do sistema e a carga em momentos de pico  Pode variar dependendo da técnica de avaliação escolhida  Modelagem analítica: normalmente expressa pela probabilidade de várias requisições  Simulação: investigações sobre as requisições feitas por um sistema real  Medição: scripts de usuário a serem executados pelo sistema

8. Definição do modelo conceitual do sistema  Utilizando as informações coletadas nos passos anteriores, elaborar um modelo conceitual do sistema que especifica a concepção atual do sistema e tudo que foi assumido  Os detalhes do sistema dependem de:  Objetivos do projeto  Métrica  Disponibilidade dos dados  Credibilidade das informações obtidas  Limitações dos recursos computacionais  Limitações temporal e financeira

Abordagem Sistemática 9. Seleção de técnicas de modelagem  Medição de um sistema real  Modelagem analítica  Simulação  Escolha da ferramenta adequada  Ferramenta de modelagem  Ferramentas de monitoração Ferramenta de modelagemCusto da ferramentaCusto do projeto Linguagens de programação: Java, C++, etc MenorMaior Software de cálculos matemáticos Pacotes de simulação: Arena, Promode, Comnet, Optnet, etc MaiorMenor

Abordagem Sistemática 10. Realização da modelagem  Escolhida a técnica de modelagem e a ferramenta a ser utilizada, o desenvolvimento do modelo analítico ou de simulação deve ser feito obedecendo as definições do documento do modelo conceitual do sistema 11. Definição e projeto dos experimentos  Escolher os diversos níveis (ou valores) dos fatores que afetam o desempenho do sistema, entre os quais a carga a ser submetida ao sistema e aqueles que determinam características do sistema.

Abordagem Sistemática 12. Validação do Modelo  Realizar execuções piloto para validar o modelo. Utilizar, caso exista, dados de outro sistema do qual se possua medida de desempenho e com o qual o sistema possa ser comparado.  A equipe que desenvolveu a simulação, bem como o especialista, deve revisar o modelo e verificar se os resultados estão corretos e dentro do esperado  Utilizar análises de sensibilidade para determinar quais fatores tem impacto mais significativo sobre as medidas de desempenho e devem ser modelados com maior cuidado  Se o modelo não for válido voltar à etapa dois

Abordagem Sistemática 13. Execução dos experimentos  Realize os experimentos com o modelo desenvolvido e validado utilizando os níveis de carga escolhidos  Em modelos de simulação, para cada configuração de interesse especificar:  Duração/tamanho de cada execução  Duração do transitório, isto é, período inicial até o sistema entrar em regime estável. Este período é excluído das medidas.  Número de execuções independentes (com diferentes números aleatórios) para permitir a determinação de intervalos de confiança

Abordagem Sistemática 13. Análise e interpretação dos resultados  Os resultados dos experimentos são valores aleatórias e que exigem uma analise estatística para sua correta interpretação 14. Documentação e apresentação dos resultados  Deve ser documentado:  O modelo conceitual do sistema e tudo que foi assumido em termos de parâmetros e fatores.  O programa correspondente ao modelo analítico ou de simulação.  A análise dos resultados.  Os resultados devem ser apresentados aos gerentes e às demais pessoas envolvidas na tomada de decisões, evitando o uso de jargão técnico/estatístico, através de relatórios e apresentações com:  Animações do modelo;  Gráficos e tabelas das análises;  Discussão da construção do modelo e do processo de validação para promover a suacredibilidade.  Utilizar os resultados nos processos de tomada de decisão se estes forem válidos e tiverem credibilidade.

Exercícios Dado um sistema para estudo de performance. Descrever o sistema e as informações relevantes para a avaliação deste:  Serviços  Métricas de desempenho  Parâmetros de sistema  Parâmetros do Workload  Fatores e seus níveis  Técnica de avaliação  Workload