1

Qualidade, Processos e Gestão de Software Modelos de Avaliação de Processo 11/09/ Nielso Oliveira

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 3

Contextualização 4  Software faz parte de várias atividades do dia-a-dia da sociedade moderna;  Globalização -> Aumento da concorrência -> Qualidade como diferencial competitivo  Mas, como melhorar a qualidade do software? QUALIDADE DO PRODUTO DE SOFTWARE QUALIDADE DO PROCESSO DE DESENVOLVIMENTO SW-CMMISO 9126 CMMI-Dev MPS Br ISO Bootstrap ISO ISO ISO (SQuaRE)

Modelos de Qualidade de Processo 5 SEI CMMI Integração de vários modelos (SW-CMM, IPD- CMM, SE-CM) Agrupamento das Áreas de Processo em Categorias [CMMI]

Modelos de Qualidade de Processo 6 SEI CMMI Representação por estágios Áreas agrupadas por nível (1 a 5) Avaliação da maturidade organizacional Representação contínua Agrupamento de acordo com as necessidade da organização (profile) Avaliação da capacidade dos processos

Modelos de Qualidade de Processo 7 MPS Br Iniciativa do governo brasileiro para fomentar a melhoria dos processos em micro, pequenas e médias empresas desenvolvedoras de software; Base técnica na ISO (Processos, propósitos e resultados), ISO (Capacidade dos processos e Requisitos de avaliação) e SEI CMMI (Complementação de processos); Representação por estágios (7 níveis); Avaliação da maturidade organizacional. [MPS]

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 8

Definição: Um exame disciplinado dos processos utilizados pela organização em relação a um modelo de referência. [ISO/SPICE ] Avaliação de processo de software não é uma auditoria, mas uma revisão que visa recomendar ações de melhoria à organização. [HUMPHEY apud SCHWENING] Aspectos importantes: Contexto: auto-avaliação ou organização independente Objetivos: melhoria do processo ou verificação da capacidade Escopo: todos os processos ou um subconjunto selecionado [ANDRADE] Avaliação de Processos 9 Assessment versus Auditoria

Fatores chave para o sucesso: Comprometimento da gerência Independência da equipe de avaliadores Confidencialidade Relevância Credibilidade [ISO/IEC ] Avaliação de Processos 10

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 11

ISO/IEC Histórico Em 1993 a ISO organizou um estudo sobre a necessidade de se definir um padrão par avaliação de processos de software; Criado o Projeto SPICE (Software Process Improvement and Capability dEtermination) com os seguintes objetivos: Criar a versão inicial da futura norma; Conduzir avaliações experimentais baseadas na proposta; Promover a adoção da futura norma na indústria. [SPICE] Em 1998, após mais de 100 avaliações experimentais, foi publicada a versão ISO/IEC 1 TR 15504; Em 2003 foi publicada a Norma ISO/IEC 15504: Information Technology – Process Assessment 12 1 ISO – International Organization for Standardization IEC – International Eletrotechnical Comission

ISO/IEC O que é? Um framework para avaliação de processo que pode também ser utilizado como modelo de referência para melhoria de processo. [SALVIANO] 1.Organização : Conceitos e Vocabulário : Requisitos para Avaliação de Processo : Guia sobre a Execução de uma Avaliação : Guia sobre a Melhoria de Processo e Determinação da Capacidade de Processos : Um Modelo de Avaliação de Processos baseados na ISO/IEC [ISO/IEC ] 13 1 ISO – International Organization for Standardization IEC – International Eletrotechnical Comission

ISO/IEC ISO/IEC – Requisitos para avaliação de processos Um modelo de avaliação de processo está relacionado a um ou vários Modelos de Referência de Processo; O processo de avaliação deve estar documentado; O processo deve contemplar, no mínimo, as seguintes atividades: planejamento, coleta e análise dos dados, pontuação dos atributos, divulgação dos resultados; Os critérios de classificação devem estar documentados (measurement framework);measurement framework Devem ser definidas as responsabilidades do patrocinador da avaliação (sponsor), do líder da avaliação e da equipe de avaliação; Os resultados da avaliação devem ser registrados. 14 [ISO/IEC ]

ISO/IEC ISO/IEC – Measurement Framework % Há pouca ou nenhuma evidência da implementação do atributo do processoNão implementado - NI DescriçãoEscala de Classificação Identifica-se que há uma estratégia estabelecida para se implementar o atributo do processo e já são observadas algumas evidências. Parcialmente Implementado – PI Há evidências significativas da implementação do atributo de processo. Contudo, identifica-se alguns pontos fracos. Largamente implementado LI Há evidências de que ao atributo foi completamente implementado pela organização. Não são identificados pontos fracos significantes. Totalmente Implementado - TI 5 - Em Otimização 4 – Previsível 3 – Definido Níveis de Capacidade do Processo 2 – Gerenciado 1 – Executado 0 – Incompleto Conjunto de atributos [ISO/IEC ]

ISO/IEC ISO/IEC – Requisitos para um processo de avaliação 16 [ISO/IEC ]

ISO/IEC ISO/IEC – Um Modelo de Avaliação de Processos baseados na ISO/IEC [ISO/IEC ]

ISO/IEC ISO/IEC – Um Modelo de Avaliação de Processos baseados na ISO/IEC [ISO/IEC ]

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 19

SCAMPI 1.O que é? O SCAMPI v1.2(Standard CMMI Appraisal Method for Process Improvement) é o método oficial do SEI para conduzir avaliações relativas ao CMMI. ARC v1.2 – Appraisal Requirements for CMMI Define os requisitos essenciais para um método de avaliação a ser utilizado com o CMMI. Definição de responsabilidades do sponsor e do líder da avaliação; Versão do modelo, versão/classe ARC; Planejamento e preparação da avaliação; Coleta de Dados; Consolidação e Validação dos dados; Processo para classificação; Relato dos resultados. 20 [ARC]

SCAMPI 1.ARC v1.2 – Assessment Requirements for CMMI Define ainda classes para esses métodos de acordo a aplicação dos mesmos. 21 Necessidade de obter uma visão rapidamente Auto-avaliação para planejamento da melhoria Definir nível de maturidade/ capacidade Pessoa treinada e experiente Lead AppraiserLíder da Avaliação 124Tamanho do Time Opcional SimEscopo organizacional? Não SimGera classificação? Documentos ou Entrevistas Documentos e Entrevistas Evidências a serem coletadas Classe CClasse BClasse ARequisito SCAMPI Aderente à ISO [ARC]

SCAMPI 1.Premissas e Princípios Método de benchmarking; Cumprimento dos objetivos é determinado em função do planejamento e implementação no processo/projeto; A verificação da implementação é realizada através da coleta de evidências. 22 ExemploDescriçãoTipo de Evidência Entrevistas, apresentações, questionários, etc.Afirmações Orais ou escritas para confirmar a implementação de uma prática. Afirmações Atas de reunião, relatórios de revisão, apresentações, etc. Consequência do uso da práticaArtefatos indiretos Produtos de trabalho típicos listado no Modelo; materiais de treinamento, documentos dos projetos, etc. Resultados diretos da implementação da prática genérica ou específica. Artefatos diretos [SCAMPI]

SCAMPI 1.Etapas da Avaliação Planejamento e Preparação para a avaliação: escopo, equipe, análise preliminar da evidências; Execução da Avaliação: coleta e análise dos dados, caracterização das práticas, e classificação dos objetivos, das áreas de processo (capacidade), e da organização (maturidade); 23 [SCAMPI]

SCAMPI 1.Etapas da Avaliação – Execução (continuação) Caracterização das práticas nos projetos/processos; 24 Ainda não foi alcançado a erapa do ciclo de vida em que a prática seja aplicável.Não Aplicável - NA Não foram encontrados artefatos diretos ou os mesmos foram julgados inadequados; Não foram encontradas outras evidências, e; Foi identificado ao menos uma oportunidade de melhoria. Não implementado - NI DescriçãoClassificação Não foram encontrados artefatos diretos ou os mesmo foram julgados inadequados; Artefatos indiretos ou afirmações sugerem que prática é executada e; Foi identificado ao menos uma oportunidade de melhoria. OU Um ou mais artefatos diretos foram encontrados e julgados adequados; Não foram encontradas outras evidências, e; Foi identificado ao menos uma oportunidade de melhoria Parcialmente Implementado - PI Um ou mais artefatos diretos foram encontrados e julgados adequados; Existe pelo menos um artefato indireto ou uma afirmação que confirmem a execução da pática; Foi identificada ao menos uma oportunidade de melhoria. Largamente implementado LI Um ou mais artefatos diretos foram encontrados e julgados adequados; Existe pelo menos um artefato indireto ou uma afirmação que confirmem a execução da pática; Não foram identificadas oportunidades de melhoria. Totalmente Implementado - TI [SCAMPI]

SCAMPI 1.Etapas da Avaliação – Execução (continuação) Caracterização das práticas na organização Classificação dos Objetivos - O objetivo é graduado satisfeito quando todas as práticas são LI ou TI e os pontos fracos associados não tem impacto negativo com o alcance do objetivo. 25 Não AplicávelTodos NA Não ImplementadoTodos NI ou NA com pelo menos um NA Parcialmente ImplementadoTodos PI ou NI ou NA, com pelo menos um PI OrganizaçãoProjetos e Processos Largamente Implementado ou Parcialmente Implementado (Decisão do time)Pelo menos um LI ou TI e pelo menos um PI ou NI Largamente ImplementadoTodos LI ou TI ou NA com pelo menos um LI Totalmente Implementado.Todos TI ou NA com pelo menos 1 TI [SCAMPI]

SCAMPI 1.Etapas da Avaliação (continuação) Relatar os resultados 26

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 27

MA – MPS Br 1.O que é? O MA MPS Br v1.1 é o método de avaliação da maturidade de uma organização de acordo com o MPS Br v Baseado na ISO/IEC [MPS]

MA MPS Br 1.Fatores chave para o sucesso da avaliação Comprometimento da gerência; Motivação; Fornecimento de feedback; Confidencialidade; Percepção dos benefícios; Credibilidade. 2.Etapas da Avaliação Contratar a avaliação Preparar a avaliação Realizar a avaliação final Documentar os resultados 29 [MPS]

MA MPS Br 1.Etapas da Avaliação Contratar a avaliação: Pesquisar instituição avaliadoras (site SOFTEX); Estabelecer contrato. Preparar para a realização da avaliação: Viabilizar a avaliação (seleção equipe, autorização SOFTEX) Planejar avaliação (definir período, selecionar projetos, selecionar entrevistados); Preparar a avaliação (levantamento de indicadores) 30 DescriçãoTipo de Evidência Obtidas em entrevistas ou apresentações e confirmam a implementação do processo, seus resultados e atributos Afirmações São conseqüência da realização de uma tarefa e que referendam a implementação de um resultado, mas que não são o produto principal da tarefa. Indicadores indiretos Produto principal da realização de uma tarefaIndicadores diretos [MPS]

MA MPS Br 1.Etapas da Avaliação Preparar para a realização da avaliação (continuação): Realizar avaliação inicial (análise dos indicadores); Analisar os dados da avaliação inicial (elaboração de relatório e envio para auditoria pelo SOFTEX, definição da data da avaliação final). Realizar Avaliação Final Conduzir a avaliação final (verificar evidências, realizar entrevistas, caracterizar grau de implementação dos atributos de processo nos projetos e na organização, caracterizar o grau de implementação dos processos na organização, atribuir nível MPS Br) 31 [MPS]

MA MPS Br 1.Etapas da Avaliação - Realizar Avaliação Final (continuação) Caracterizar grau de implementação dos resultados esperados do processo e dos resultados de atributos de processo nos projetos. 32 [MPS]

MA MPS Br 1.Etapas da Avaliação - Realizar Avaliação Final (continuação) Caracterizar grau de implementação dos resultados esperados (atributos e dos processos) na unidade organizacional 33 [MPS]

MA MPS Br 1.Etapas da Avaliação - Realizar Avaliação Final (continuação) Caracterizar grau de implantação dos atributos do processo na unidade organizacional 34 [MPS]

MA MPS Br 1.Etapas da Avaliação - Realizar Avaliação Final (continuação) Caracterização do grau de implementação dos processos na organização – Um processo é graduado satisfeito quando todos os resultados esperados foram caracterizados como Totalmente Implementado ou Largamente Implementado. 35 [MPS]

MA MPS Br 1.Etapas da Avaliação - Realizar Avaliação Final (continuação) Atribuir nível MPS Br (Processo Satisfeito + Implementação Atributos) Comunicar resultado ao patrocinador; Comunicar resultado aos colaboradores da organização. Documentar os resultados da avaliação (preparar relatório da avaliação, enviar para auditor, efetuar ajustes, enviar à SOFTEX). 36 [MPS]

Agenda 1.Contextualização 2.Avaliação de Processo 1.ISO/IEC SCAMPI 1.MA-MPS Br 1.Conclusão 37

A simples adoção de um modelo não garante que a qualidade do software irá aumentar! Conclusão 38 Precisamos saber se o processo foi adequadamente definido. O processo Referência precisa ser utilizado pela organização e estar adequado às suas necessidades. Tornar pública a qualidade dos processos pode ser um diferencial competitivo! AVALIAÇÃOAVALIAÇÃO Aderência ao Modelo de Referência Avaliações Internas Avaliação Oficial

Referências 39 [ANDRADE] ANDRADE, Jeann M. S., Avaliação de Processos de Software em Ambientes de Desenvolvimento orientados à Organização, dissertação de mestrado da COOPE – UFRJ, [ARC] Appraisal Requirements for CMMI, Version 1.2 (ARC, V1.2), (CMU/SEI-2006-TR-011). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August [CMMI] CMMI for Development version 1.2, Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August [ISO/IEC ] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC : Information Technology - Process Assessment – Part 1 - Concepts and Vocabulary, Genebra: ISO, [ISO/IEC ] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC : Information Technology - Process Assessment – Part 2 - Performing an Assessment, Genebra: ISO, [ISO/IEC ] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC : Information Technology - Process Assessment - Part 3 - Guidance on Performing an Assessment, Genebra: ISO, 2004.

Referências 40 [ISO/IEC ] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC CD : Information Technology - Process Assessment - Part 5: An exemplar Process Assessment Model, Genebra: ISO, 2004 [MPS] MPS.BR – Guia de Avaliação, v1.1, Julho/2007, Softex. [SALVIANO] SALVIANO, Clênio F. Melhoria e Avaliação de Processo de Software com o Modelo ISO/IEC :2006. Lavras: UFLA,2006 [SCAMPI] Standard CMMI Appraisal Method for Process Improvement Version 1.2: Method Definition Document (CMU/SEI-2006-HB-002). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August [SCHWENING] SCHWENING, Cristiano. Fundamentos para um Método Unificado para avaliação de processo de software. Blumenau: 2007 [SPICE] SPICE – Software Process improvemente and Capability Determination. Disponível em Acessado em

Qualidade, Processos e Gestão de Software Modelos de Avaliação de Processo 11/09/ Nielso Oliveira

42