Elaboração de Planos de Medição para Apoiar a Melhoria

Apresentação em tema: "Elaboração de Planos de Medição para Apoiar a Melhoria"— Transcrição da apresentação:

1 Elaboração de Planos de Medição para Apoiar a Melhoria
Reinaldo Cabral

2 Objetivos de Aprendizagem
Ao final, todos devem estar aptos: Elaborar um plano de medição para sua unidade organizacional Executar o plano de medição Interpretar os resultados a partir das medições realizadas

3 Roteiro 1. Notas Introdutórias
2. Uso do GQM na Elaboração do Plano de Medição: Planejamento Definição Coleta de Dados Interpretação e Análise 3. Medição e Análise no CMMI

4 1. Notas Introdutórias Medição Recursos Ambiente Processos Mensura
Produtos Organização Armazena Analisa e Interpreta Repositório de Medidas

5 1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição
Produtos Desempenho Taxa de defeitos Processos Tempo de execução Número de inadequações Recursos Disponibilidade da infraestrutura Taxa de utilização dos recursos Experiência da equipe (Fenton e Pfleeger, 1997)

6 1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição
Valor coletado automaticamente ou manualmente a partir da entidade que está sendo caracterizada

7 1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição
Agrega informação à medida. Ex.: cm, metros, minutos,

8 1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição
Nominal Ordinal Intervalo Racional

9 1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição
Ato de coletar e registrar medidas. Ex.: Contagem e registro de discrepâncias encontradas em um documento de requisitos; Extração do tempo total investido em uma determinada atividade, etc

10 1. Notas Introdutórias GQM Paradigm
Origem: Nasa – 1994, Basili e Rombach Objetivo Questão Métrica Coleta de Dados Medição Resposta Objetivo Alcançado Definição Interpretação Planejamento

11 2. Uso do GQM - Planejamento
Objetivo Questão Métrica Coleta de Dados Medição Resposta Objetivo Alcançado Definição Interpretação Planejamento

12 2. Uso do GQM - Planejamento
Objetivos Coletar todas as informações requeridas Preparar e motivar os participantes do programa de medição Definir objetivos, procedimentos e cronograma para o programa de medição

13 2. Uso do GQM - Planejamento
Passo 2: Identificar a área para melhoria Deve-se considerar os objetivos de melhoria do negócio, geralmente, levando em conta fatores como custo, tempo, risco e qualidade. Alguns mecanismos de apoio: entrevistas, brainstorming e condução de avaliações preliminares. Após identificar a área deve-se descrever: O problema ou área de melhoria, processos e produtos envolvidos, influências (tecnológicas, ambientais, organizacionais e outras), pessoas envolvidas e relatar se estas pessoas possuem alguma experiência com medição e GQM.

14 2. Uso do GQM - Planejamento
Passo 3: Selecionar o projeto e sua equipe No projeto, a equipe selecionada irá realizar as atividades de medição. Ela é responsável pelo programa de medição e seus resultados. Comprometimento, motivação e entusiasmos são fatores vitais para o sucesso no programa de medição. A equipe de projeto deve ter um canal de comunicação eficiente com a equipe GQM para discutir propostas para alterações no programa de medição.

15 2. Uso do GQM - Planejamento
Passo 4: Criar o plano do projeto Deve conter: uma apresentação geral do plano, introdução, caracterização do plano, cronograma detalhado, organização, processo de gerenciamento, treinamento e atividades para divulgação dos resultados. Deve-se dar ênfase na análise custo-benefício e na lista dos marcos e datas limites associadas aos respectivos subprodutos que devem ser produzidos. A equipe do projeto deve participar e se comprometer com a execução do plano.

16 2. Uso do GQM - Planejamento
Passo 5: Treinamento e divulgação Todos os participantes devem entender claramente a proposta, bem como seus benefícios, o investimento (esforço) e a necessidade de executar todas as atividades previstas. A pauta de treinamento aos participantes deve incluir: os princípios da medição, o paradigma e o método GQM. Entretanto, a ênfase deve ser em questões práticas relativas ao método, tais como: Que tarefas de medição executar? por que? Como e quando? Quanto esforço estas tarefas vão demandar? Qual a influência delas nas minhas atividades diárias? O que se pode ganhar com isso? Qual o aprendizado a ser adquirido?

17 2. Uso do GQM - Planejamento
Checklist A equipe GQM foi selecionada e está instalada Há recursos suficientes para a equipe GQM Os objetivos de melhoria do negócio foram formulados e aprovados A equipe do projeto foi estabelecida e apóia os objetivos de melhoria A equipe do projeto tem ao menos 2% dos recursos reservados para o programa GQM O plano do projeto está disponível Os procedimentos de comunicação estão definidos O treinamento e a divulgação estão planejados e descritos A gerência está comprometida e é informada regularmente A gerência aprova o plano do projeto

18 2. Uso do GQM - Definição Objetivo Questão Resposta Métrica Medição
Objetivo Alcançado Questão Resposta Definição Métrica Medição Interpretação Coleta de Dados Coleta de Dados Planejamento

19 2. Uso do GQM - Definição Objetivos Produzir o plano GQM
Produzir o plano de medição Produzir o plano de análise

20 2. Uso do GQM - Definição Passo 1: Definir metas para medição
As metas são derivadas a partir dos objetivos gerais do negócio, geralmente, relacionados a melhorias Todos os envolvidos devem participar e se comprometer com o programa. Modelo para auxiliar na definição das metas: Analisar: <objeto de estudo> com o propósito de <propósito> com relação aos seus <foco de qualidade> a partir do ponto de vista do <perspectiva> no contexto do <contexto>

21 2. Uso do GQM - Definição Neste modelo, proposto inicialmente por Basili, em 1994, temos: Objeto de estudo Delimita um escopo para o experimento. Produtos, processos, recursos, modelos, métricas ou teorias. Propósito Define a intenção da meta. Caracterizar, controlar ou melhorar o objeto de estudo. Foco da qualidade Qual o foco da qualidade que vai ser dado ao objeto de estudo. Efetividade, custo, confiabilidade etc. Ponto de vista Perspectiva a partir da qual os resultados do experimento são interpretados. Pesquisador, usuário, etc. Contexto Descrição do ambiente relativo a caracterização dos objetos e dos sujeitos. A caracterização também pode ser feita de forma quantitativa [Wohlin00]. Auxilia na delimitação do escopo da validade do experimento Analisar com o propósito de com relação aos seus a partir do ponto de vista do no contexto do

22 2. Uso do GQM - Definição 7 questões para apoiar na definição das metas Quais são os objetivos estratégicos do negócio? Quais forças tem impacto sobre seus objetivos estratégicos? Como podemos melhorar seu desempenho? Quais são as maiores preocupações (problemas)? Quais são as metas de melhorias? Como podemos atingir estas metas? Quais são as possíveis metas de medição e quais as prioridades? O resultado deste primeiro passo é a lista de especificações das metas de medição GQM

23 2. Uso do GQM - Definição Passo 2: Revisar ou produzir o modelo de processo de software ou produto É necessário revisar o modelo para que ele possa suportar as atividades de medição Caso ele não exista o grupo GQM deve cria-lo O modelo não deve ser modificado para se tornar o ideal, mas deve representar fielmente o estado da prática atual. Revisões formais, brainstorming, entrevistas estruturadas, apresentações e outros mecanismos, podem auxiliar nesta atividade.

24 2. Uso do GQM - Definição Passo 3: Conduzir entrevistas GQM
O objetivo das entrevistas é tornar o conhecimento tácito em torno da atividade de medição em conhecimento explícito para todos os integrantes da equipe de projeto. Entrevistas individuais são mais indicadas, pois ajudam a anular fatores que podem influenciar a opinião do entrevistado. Uso de abstraction sheets

25 2. Uso do GQM - Definição Passo 4: Definir questões e hipóteses
Questões são um refinamento das metas para um nível mais operacional. O nível de abstração das questões deve ser equilibrado para facilitar tanto a interpretação dos dados quanto relacioná-los com as metas. Deve ser levantada quais as expectativas das respostas para cada questão. Isto induzirá uma reflexão em prol do entendimento do processo/produto a ser mensurado.

26 2. Uso do GQM - Definição Passo 5: Revisar questões e hipóteses
Verificar se as questões estão corretas. Verificar se as questões estão claras e bem definidas de modo a facilitar o processo de interpretação e análise e evitar erros ou interpretações equivocadas.

27 2. Uso do GQM - Definição Passo 6: Definir as métricas
As métricas são definidas para prover informação quantitativa que permita responder as questões de forma satisfatória. Fatores que podem influenciar os resultados das métricas devem ser identificados Estes fatores, usualmente, também são definidos como métricas

28 2. Uso do GQM - Definição Passo 7: Checar a completude e consistência das métricas As métricas devem estar consistentes e completas com relação ao modelo do objeto sob medição. Esta verificação deve ser realizada durante toda a fase de definição A métrica é possível de ser extraída? Em que momento do processo?

29 2. Uso do GQM - Definição Passo 8: Produzir o plano GQM
O plano descreve o refinamento de metas para questões e de questões para métricas. Serve como um guia para interpretação dos dados. Serve de base para elaboração do plano de medição e o plano de análise. Também é base da definição dos procedimentos de coleta de dados e do sistema de suporte à medição.

30 2. Uso do GQM - Definição Passo 9: Produzir o plano de medição
Com base no plano GQM, o plano de medição contempla: Definições formais e descrição textual das medições diretas; define todos os possíveis resultados; identifica as pessoas responsáveis pelas coletas; em que momento as coletas irão ser realizadas; define e descreve os meios (formulários ou ferramentas) utilizado para realizar a coleta.

31 2. Uso do GQM - Definição Passo 10: Produzir o plano de análise
Simula a interpretação dos dados de acordo com o plano GQM. Fornece uma indicação da forma dos dados que serão encaminhados para a equipe do projeto. É criado a partir da baseline de hipóteses. Contém gráficos e tabelas que validam as hipóteses e a descrição de como os fatores de variação são considerados nos resultados, assim é possível estimar o impacto de cada fator durante a interpretação.

32 2. Uso do GQM - Definição Passo 11: Revisar os planos
Além de garantir a sintonia entre os planos, a revisão deve: Obter a aprovação dos membros do projeto a respeito das metas, questões e métricas definidas Incentivar a identificação da ausência ou não necessidade de alguma definição. Obter a aprovação da definição do material de feedback proposto.

33 2. Uso do GQM – Definição Checklist As metas GQM estão definidas
A equipe do projeto adotou as metas GQM Os modelos de processo que identificam as medições estão disponíveis As questões GQM estão disponíveis e consistentes com as metas As métricas GQM estão disponíveis e consistentes com as questões As métricas GQM estão verificadas e consistentes com o modelo do processo O plano GQM está disponível O plano de medição está disponível O plano de análise está disponível

34 2. Uso do GQM – Coleta de dados
Objetivo Objetivo Alcançado Questão Resposta Definição Métrica Medição Interpretação Coleta de Dados Coleta de Dados Planejamento

35 2. Uso do GQM – Coleta de dados
Objetivos Garantir que todos os procedimentos definidos para a coleta serão utilizados pela equipe do projeto Garantir que a equipe de projeto possui acesso aos instrumentos utilizados para a coleta e que está devidamente preparada para utilizá-los. Realizar a coleta dos dados propriamente dita Validar a medição e armazenar os dados coletados adequadamente. Esta fase é orientada pelo plano de medição

36 2. Uso do GQM – Coleta de Dados
Procedimentos de coleta de dados Deve-se localizar no plano de medição Quem, quando, como coletar o dado e para quem deve ser enviado. Meios de coleta Formulários manuais, formulários eletrônicos e ferramentas automatizadas. Restrições Geralmente os dados mais valiosos vem de pessoas não de ferramenta Dados coletados manualmente podem ser suficientes para responder uma questão Todos os procedimentos devem estas documentados, disponíveis e ser do conhecimento de todos.

37 2. Uso do GQM – Coleta de Dados
Treinamento e início da coleta dos dados A equipe GQM deve desenvolver em paralelo um sistema de suporte à medição, que será a base para a fase de interpretação. Inicialmente pode ser feito um ensaio de coleta com pessoas experientes para identificação de potenciais melhorias antes do início do processo de coleta propriamente dito. Uma sessão Kick-off deve ser realizada para ratificar o comprometimento com as atividades e procedimentos de coleta de dados.

38 2. Uso do GQM – Coleta de Dados
A equipe GQM deve monitorar o uso de procedimentos, ferramentas e formulários, checando a consistência e a corretude, pois pequenos problemas tendem a ganhar escala durante a coleta de dados. Estes devem ser corrigidos imediatamente após sua identificação.

39 2. Uso do GQM – Coleta de Dados
Construção do sistema de suporte à medição Deve contemplar: A coleta, o armazenamento, a manutenção e o processamento dos dados. Bem como a formatação e o empacotamento dos dados para uso nas fase de interpretação e/ou para divulgação dos dados. Flexibilidade e acessibilidade são características importantes O sistema é baseado no plano GQM Constituído por um banco de métricas, analysis sheet (dados brutos, processados e formatados em forma de gráficos e tabelas), ferramentas para elaboração de apresentações e um mecanismo de distribuição.

40 2. Uso do GQM – Coleta de dados
Checklist Ferramentas e formulários estão disponíveis O período de ensaio foi organizado Ferramentas e formulários estão atualizados A sessão kick-off de medição foi organizada A base de métricas do sistema de suporte à medição está disponível Analysis sheet do sistema de suporte à medição está em conformidade com o plano GQM e o plano de análise Slides de apresentação do sistema de suporte à medição estão criados Os formulários de coleta de dados estão completamente e corretamente preenchidos A medição validade está armazenada na base de métricas do sistema de suporte à medição

41 2. Uso do GQM – Interpretação
Objetivo Objetivo Alcançado Questão Resposta Definição Métrica Medição Interpretação Coleta de Dados Coleta de Dados Planejamento

42 2. Uso do GQM – Interpretação
Objetivos Encontrar respostas para as questões estabelecidas no programa de medição (sessões de feedback) Reportar a alta gerência, em detalhes, os resultados do programa Realizar uma análise de custo-benefício

43 2. Uso do GQM – Interpretação
Passo 1: Preparação da sessão de feedback Preparar os dados coletados para possibilitar apresentação e interpretação Procedimentos: Atualizar analysis sheet no sistema de suporte a medição Criar material adicional para sessão de feedback Atualizar os slides de apresentação Revisar slides de apresentação Salvar cópias de slides e base de métricas (manter versões para uso futuro) Criar e distribuir amostras

44 2. Uso do GQM – Interpretação
Passo 2: Organizar a sessão de feedback Características gerais Duração: 1,5 a 2h, máximo 3h, Durante 6 a 8 semanas. 15 a 20 slides para discussão por sessão contendo gráficos e tabelas. A equipe do projeto é que executa a sessão. O papel da equipe GQM é instigar a equipe do projeto a refletir sobre os dados e tomar notas sobre o andamento de cada sessão.

45 2. Uso do GQM – Interpretação
Passo 3: Relatar interpretações e resultados da medição A equipe GQM relata em detalhes todas as observações, interpretações, conclusões e ações pontuais relevantes que foram formuladas durante as sessões. Os resultados do programa devem ficar documentados, facilmente acessíveis e compreensíveis Divulgar os resultados para fomentar a criação da consciência organizacional relacionada a programas de medição

46 2. Uso do GQM – Interpretação
Passo 4: Realizar a análise custo-benefício do programa de medição Os benefícios estimados superaram os custos Custos típicos: tempo investido na preparação, em reuniões, no preenchimento de formulários e no desenvolvimento do sistema de suporte à medição; recursos materiais; recursos humanos. Benefícios típicos: aumento das vendas, economia de tempo e esforço e melhoria no gerenciamento dos recursos. Esta atividade é de responsabilidade da equipe GQM.

47 2. Uso do GQM – Interpretação
Checklist O material de feedback está consistente com o plano GQM Slides de apresentação estão corretos e atualizados Uma amostra das apresentações são distribuídas para a equipe do projeto Todos os membros da equipe GQM e de projeto foram convidados para as sessões de feedback Acomodações e equipamentos foram reservados Os relatórios da sessão de feedback foram distribuídos entre os participantes Os resultados da medição foram reportados

48 3.Medição e Análise no CMMI
Especificar Métricas Objetivos das Medições Indicadores das Medições Repositório das Medições Procedimentos, Ferramentas Especificar Procedimentos para Coleta de Dados e Armazenamento Especificar Procedimentos de Análise Comunicar Resultados Armazenar Dados e Resultados Analisar Dados das Medições Coletar Dados das Medições Fornecer Resultados das Medições Definir Atividades de Medição e Análise Estabelecer Objetivos da Medição SP 1.1 SP 1.2 SP 1.3 SP 1.4 SP 2.1 SP 2.2 SP 2.3 SP 2.4 SG 1 SG 2

49 4. Verificação do Alcance dos Objetivos de Aprendizagem
O que deve conter em um plano de medição? O que deve ser feito antes de executar o plano de medição? Como realizar a interpretação dos dados?

50 5.Referências (Wohlin, 2000) Wohlin, Claes “Experimentation in Software Enginneering - An introduction”, Kluwer Academic Publishers, Massachusetts, USA, 2000. (van Solingen e Berghout, 1999) Van Solingen, R., Berghout, E. “The Goal/Question/Metric Method, A pratical guide for Quality Improvement of Software Development”, McGraw Hill, Great Britain, Cambridge,1999 (Fenton e Pfleeger, 1997) Fenton, N., Pfleeger, S “Software Metrics a Rigorous & Pratical Approach”, 2nd Ed., PWS Publishing Company, 1997 (Basili e Rombach, 1994) Basili, V. e Rombach, H. “Goal Question Metric Paradigm”, Encyclopedia of Software Enginnering, v2, 1994.

51 Elaboração de Planos de Medição para Apoiar a Melhoria
Reinaldo Cabral