ISO/IEC – 6 Avaliação do Produto – Módulos de Avaliação

Apresentação em tema: "ISO/IEC – 6 Avaliação do Produto – Módulos de Avaliação"— Transcrição da apresentação:

1 ISO/IEC 14598 – 6 Avaliação do Produto – Módulos de Avaliação
Paulo Jorge nº 20949 Pedro Pereira nº 19953

2 Resumo Introdução NORMA ISO/IEC 14598
Conceitos de Módulos de Avaliação Formato de um Documento Desenvolver um Módulo de Avaliação Exemplo de um Módulo de Avaliação

3 Introdução A avaliação do Software depende em larga escala das técnicas e métricas utilizadas. Mas também a forma como a documentação das métricas e dos métodos é feita, assume um papel importante. Deve ser standard. De fácil acesso. O conceito de Módulo de Avaliação permite uma solução para estas necessidades Define uma forma de avaliação e a formatação que reporta os resultados das medidas resultantes da aplicação das métricas e técnicas (What).

4 Introdução Entende-se por módulo de avaliação um pacote contendo a tecnologia para avaliação das características e subcaracterísticas de um determinado software: Os modelos de qualidade; dados e informações a respeito do plano de aplicação desses modelos. Objectivo – Padronizar os módulos de avaliação para que seja possível a sua reutilização (Why)

5 Introdução Os módulos de avaliação podem ser utilizados no contexto das ISO/IEC 9126 e dos standards da ISO/IEC ISO/IEC 9126 – Características da qualidade do produto de Software. ISO/IEC – Plano para a avaliação de produtos de Software.

6 ISO/IEC 14598

7 ISO 14598

8 Módulo de Avaliação - Conceito
Diferentes aspectos da avaliação necessitam de diferentes técnicas de aplicação. Assim, uma avaliação deve ser estruturada em unidades. Cada uma das unidades deve focar a avaliação da qualidade de um aspecto específico, recorrendo a uma técnica específica. Esta informação deve estar bem armazenada para que privilegie uso futuro – Módulo de Avaliação.

9 Módulo de Avaliação Clarifica qual o aspecto da qualidade do software que está a ser medido; A forma como ao medida é efectuada está bem definida, bem como as pré-condições e exactidão da medida. Estabelecem as ligações entre as técnicas de avaliação, as métricas e as medidas.

10 Documentação Formato Será aplicado dentro do contexto da avaliação do produto de software; Deve suportar o desenvolvimento de novas métricas estado da arte; Disponibiliza uma definição precisa das métricas utilizadas e sua aplicação; Contém toda a informação necessária para aqueles que futuramente necessitem do MA para uma nova avaliação.

11 Documentar Módulos de Avaliação
Documentar um módulo de avaliação tem como vantagens: Disponibilizar uma referência comum para descrição das bases teóricas do módulo; Identificar um conjunto de requisitos para documentar e desenvolver um módulo; Permite a recolha e catálogo de um largo número de módulos de avaliação antecipadamente.

12 Desenvolver um MA 1 – Identificar os requisitos do MA
Identificar o modelo de qualidade; Identificar características e sub-características da qualidade; Decidir qual o objectivo da avaliação. 2 – Especificar o MA Com base nos requisitos, especificar as técnicas de inputs da avaliação, bem como as métricas.

13 Desenvolver um MA 3 – Desenvolver Procedimentos de avaliação
Estimar quais os recursos necessários; Detalhar as procedures de avaliação a desenvolver; Uma versão trial da procedure avaliação pode tornar-se uma mais valia. 4 – Descrição do Procedimento de Avaliação Descrever o ponto anterior de acordo com o formato do MA – ser conforme com esta norma. 5 – Verificação e Validação do MA A validação deve assegurar que o MA representa o estado da arte da tecnologia, e ser testado por diferentes tipos de pessoas e em diferentes ambientes.

14 Formato Documentação (EM0 – EM5)
EM0 - Introdução Informação formal sobre o módulo de avaliação; Breve introdução sobre as técnicas descritas no módulo; Preparação, aprovação, contribuições e alterações e relações com outros documentos.

15 Formato Documentação (EM0 – EM5)
EM1 – Âmbito Define o âmbito da aplicação do módulo de avaliação; Identifica as características, sub-características ou atributos onde o módulo de avaliação tem aplicação; Descreve o nível de avaliação definido pelo módulo. O nível deve ser descrito tendo em conta a utilização do software e o seu ambiente de utilização. Deve descrever as técnicas de avaliação aplicadas; Identificar o âmbito de aplicação do módulo.

16 Formato Documentação (EM0 – EM5)
EM2 - Referências Nesta clausula são apontadas as referências a normativos ou a documentos técnicos. Se o módulo de avaliação depende do resultado de outros, é nesta clausula que devem ser mencionados.

17 Formato Documentação (EM0 – EM5)
EM3 – Termos e Definições Aqui são definidos os termos técnicos utilizados no módulo. Podem ainda ser encontrados nesta clausula, referências a fontes onde as definições podem ser encontradas.

18 Formato Documentação (EM0 – EM5)
EM4 – Inputs e Métricas Identifica os inputs necessários para a avaliação: Componentes do produto; Informação do produto; Informação de suporte; Informação sobre o produto em utilização. Especificar os dados a extrair dos inputs; Descrever como as medidas são calculadas através dos dados, utilizando as métricas. Se as métricas forem combinadas, devem ser descritas aqui as dependências. Todas as suposições e pré-condições têm de ser satisfeitas antes de se proceder è medição.

19 Formato Documentação (EM0 – EM5)
EM5 – Interpretação dos Resultados Especificar a interpretação dos resultados obtidos com as medições; Se obtiverem medidas distintas para uma mesma característica ou atributo, aqui são descritas as formas como podem ser combinadas e avaliadas; Descreve o índice do relatório que fornecerá o resultado final da aplicação do módulo. Em alguns casos, a visualização de valores obtidos são importantes e devem ser encorajados.

20 Formato Documentação (EM0 – EM5)
EMA – Procedimento da Aplicação A inclusão deste anexo é opcional Deve descrever os procedimentos da aplicação de forma detalhada. Deve incluir pontos como: Definição de termos técnicos usados; Recursos necessários para a implementação; Instruções da avaliação; Documentação.

21 Exemplo de MA – Fault Density
EM0 - Introdução Objectivo – Determinar a densidade de falhas (defeitos no software) num programa, calculada recorrendo a estimativa. EM1 - Âmbito Características: Fiabilidade; Maturidade; Densidade de falhas. Nível de avaliação – B (ISO ) Técnicas – Modelo de Crescimento de Fiabilidade Aplicabilidade – a todos os tipos de linguagens de programação.

22 Exemplo de MA – Fault Density
EM2 - Referências EM3 - Termos e Definições Fault – Defeito no Software; Falha – Ocorrência de um evento, dado um conjunto de eventos definidos; LOC – Linhas de Código; ELOC – Nº de linha de código onde foi detectada e modificada uma falha; EELOC – Nº estimado de ELOC; NCLOC- Nº de linhas sem comentários; FDV (Fault Density Value) – nº de Falhas por unidade de volume do produto.

23 Exemplo de MA – Fault Density
EM4 - Inputs e Métricas Inputs Código Origem – Componente do produto Programa de testes – Informação do Produto Dados Nº de falhas detectadas (ELOC) Determinação do tempo de cada falha (calendário do CPU) Nº de linhas de código (NCLOC) Métricas e Medidas FDV = (EELOC – ELOC)/NCLOC)

24 Exemplo de MA – Fault Density
EM5 - Interpretação dos Resultados Mapping das medidas: FDV <= 10^-4 EXCELENTE 10^-4 < FDV <= 10^-3 BOM 10^-3 < FDV <=10^-2 SUFICIENTE FDV > 10^-2 MAU Valores de acordo com os objectivos dos thresholds e do domínio do software avaliado. Reporting Resultados obtidos com o MA Identificação do código fonte FDV Rating correspondente {Excelente; Bom; Suficiente; Mau}

25 Exemplo de MA – Fault Density
EM6 – Procedimento da Aplicação RGM – Modelo utilizado para estimar o nº de linhas de código com erro. Recursos necessários: Ferramenta de contagem de LOC; Ferramenta de contagem de linhas alteradas; Ferramenta de recolha de dados RELIABILITY; Ferramenta de análise (Opcional); Hardware comum

26 Exemplo de MA – Fault Density
Qualificações Conhecimentos da aplicação do Modelo RGM. Mão de Obra Na recolha das falhas e no cálculo dos valores FDV. Instruções de Avaliação Seleccionar amostras de código; Geração de linhas de dados; Algoritmo Documentação Identificar a versão do código fonte da amostra; Qual o conjunto de falhas utilizados para estimar EELOC; Data da aplicação e a pessoa responsável.

27 Exemplo de MA – Qualidade em Uso
EM0 – Introdução Princípios de avaliação da qualidade em uso de um produto de software. EM1 – Âmbito Características Este MA especifica como se avaliam 3 qualidades de uso definidas na ISO/IEC e os principios da ISO Efectividade; Produtividade; Satisfação.

28 Exemplo de MA – Qualidade em Uso
Nível de Avaliação – O nível de acuidade ao uso depende de quão próximo está o contexto de avaliação face ao contexto da utilização do software, tendo em conta ainda o número de utilizadores. Técnica – Simulação de ambiente real, sem outra ajuda que não a existente em ambiente real. Aplicabilidade – Apropriado a qualquer produto que faça parte de um sistema com interacção de utilizadores. EM2 – Referências …

29 Exemplo de MA – Qualidade em Uso
EM3 – Termos e Definições Contexto do Uso – todo o ambiente real; User – A pessoa que interage com o produto; Objectivo – O que se pretende com a avaliação; Tarefa – Actividades para atingir o objectivo. EM4 - Inputs e Métricas Input Código executável e documentação; Contexto do uso; Contexto da avaliação

30 Exemplo de MA – Qualidade em Uso
EM4 – Inputs e Métricas Dados Tempos de tarefa; Tempos de Output; Satisfação dos Resultados; Dificuldades encontradas. Métricas Efectividade Produtividade Satisfação

31 Exemplo de MA – Qualidade em Uso
EM5 – Interpretação dos Resultados Efectividade; Produtividade; Satisfação; Interpretação das medidas: Acuidade ao uso; Interpretação. Relatório.

32 Exemplo de MA – Qualidade em Uso
EM6 – Procedimentos na Aplicação Recursos Necessários: Um avaliador com valências e experiência na avaliação de factores humanos; Esforço de, pelo menos, 3 pessoas para planear, 2 pessoas para avaliar e 2 pessoas para a análise e relatório. Instruções: O relatório deve definir claramente que utilizadores efectuaram que tarefas, em que ambientes e toda a estrutura em que de desenrolou a simulação.