Teste de Software Caso Procenge Elba Mota Gerente de Testes José Luna Gerente de Produto

Unidade de Gestão Empresarial DIRETORIA da Unidade NEGÓCIOS GESTÃO DOS PRODUTOS GESTÃO ADM/FINANCEIRA (3) CAPACITAÇÃO (4) GESTÃO DE RELACIONAMENTOS TECNOLOGIA P&D - (4) ESPECIALISTAS (2) ATENDIMENTO (7) PROJETOS (4) DESENVOLVIMENTO (24) TESTES (8) DOCUMENTAÇÃO (3) IMPLANTAÇÃO (18) Total: 72 colaboradores

Base Pirâmide ~430 empresas ~6.500 usuários Crescimento médio de 30% a.a. Atendimento: ~40 chamados dia

Cenário: arquitetura Outros números: Arquitetura Cliente/Servidor em 2 camadas Linguagens de desenvolvimento Gupta SAL, Oracle PL/SQL* Linguagem Web Microsoft C#.NET Servidor Web Windows IIS Banco de Dados Oracle 8i ou superior Ferramentas Gupta SQL Windows, PL/SQL Developer, TestComplete (QA) Microsoft .NET Framework, ERwin, Crystal Reports, System Architect SO do servidor Linux, Windows2000, HP-UX, Solaris Plataforma servidor Intel, HP, Sun e outros Integrações Oracle Packages, TIs ou TXT 178 packages (~15 procs): principais regras de negócio c/1.910 mil linhas 1.940 tabelas Modelo aberto (cliente adiciona colunas, tabelas, triggers e outros objetos) 3.830 telas / forms 930 relatórios Aproximadamente 18.500 pontos de função - PFs Outros números:

Teste como fase final da realização do produto Conseqüências Contexto Inicial Teste como fase final da realização do produto Conseqüências Teste limitado exclusivamente pelo tempo Nenhum preparo até o momento da execução Concentração de Bug´s no final do ciclo de realização do produto

Projeto de Versão: 2 meses Versão XX.01 Versão XX.02 Mês 1 Mês 2 Mês 3 Mês 4 Mês 5 Liberação Revisão SGP Planejamento Implementação Homologação Plano de testes Versão Beta ( Todos ) Clientes Ocorrências Priorização Validações (usuários) Liberação

Sistema de Gestão Procenge ISO9001:2000 Todas as áreas ISO12207 ISO15504 MPS.BR ‘G’ MPS.BR ‘F’ * (*) REQM, PP, PMC e PPQA CMMI-2 *

Ciclo de vida projeto de versão

“Planos” de Teste Executar Verificar Refinar Preparar

“Planos” de Teste (cont.) 156 “planos” maduros (>4 anos) Alguns com mais de 150 etapas Total de 16.630 etapas Sistema de “planos” Alto nível Regras de criação e manutenção definidos nos processos afins

Motivadores (janeiro 2006) Execução de “apenas” 8.500 etapas/versão Testes gerais incompletos, exigindo priorizações, além de horas-extras da equipe Imprecisão e subjetivismo: baixo nível dos critérios de aceitação Novos sistemas sendo incorporados Aumento da equipe de testes e desenvolvimento na mesma proporção Indicadores de desempenho estagnados

Profissionalização de Testes Set/Out Implementação dos procedimentos e casos de teste Capacitação SEPG Jul Reformulação dos processos (área de testes) Mai/06 Kick-off do projeto Ago Aquisição e instalação do TestComplete Novo modelo de trabalho Jan/07 Institucionalização do SEPG Revisão dos processos na área de desenvolvimento Mai/Jun Mentoring Nov/Dez Avaliação MPS.BR “G” CBTS Excelência SEPG

Modelo com automação SMART Projeto de Teste Procedimento de Teste IEEE 829 Procedimento de Teste Massa de Dados Caso de Teste . Executa a sequência de introdução dos dados . Compara com os resultados esperados (valores, tempo, etc...) . Reporta as discrepâncias

Exemplo

Ciclo de vida projeto de versão

Algumas Reflexões 70% processo X 30% ferramenta Flexibilidade para ajustar a teoria de testes à realidade do produto e mercado Processos de desenvolvimento na área de testes (gerência de configuração, requisito, etc...) Gestão dos BDs de teste A maturidade dos processos Completa inserção dos testes no projeto de versão

Casos de teste implementados Cobertura dos Casos de Regressão Administrador 50% Comercial 35% Compras 65% Contabilidade 60% Estoque 40% Financeiro Total 56% Posição em 30/09/2007 Tempo total de execução: ~50 horas

Reflexo da melhoria do processo

Benefícios / Resultados Indicadores de performance voltaram a evoluir % de bugs detectados em casa X clientes Detecção de problemas que antes eram quase impossíveis de serem verificados Testes analíticos, repetíveis e cobrindo combinações de eventos que manualmente eram inimagináveis Base de conhecimento sobre testes completamente documentada Significativa diminuição do stress de fim de projeto (hora-extra ≈ 0) Eliminação dos Betas Equipe motivada Problema: Backlog de Bugs

Profissionalização de Testes Set/Out Implementação dos procedimentos e casos de teste Capacitação SEPG Jul Reformulação dos processos (área de testes) Abril/07 Inspeção de Projetos de Testes Mai/06 Kick-off do projeto Ago Aquisição e instalação do TestComplete Novo modelo de trabalho Jan/07 Institucionalização do SEPG Revisão dos processos na área de desenvolvimento Mai/Jun Mentoring Nov/Dez Avaliação MPS.BR “G” CBTS Excelência SEPG

Redefinição de papéis e responsabilidades Capacitação da equipe Situação Atual Redefinição de papéis e responsabilidades Capacitação da equipe Processo de teste paralelo e integrado ao processo de desenvolvimento Inspeção de projeto de teste Prevenção

Processo de Inspeção

Reflexo das Inspeções

Benefícios / Resultados

Próximas ações 1500 casos automatizados em 01/2008 Conclusão dos novos processos, atendendo às KPs VAL e VER (CMMI-3): Novembro/07 Certificação de TODOS os profissionais no CBTS até dez/2007 Certificação MPS.BR “F”: dez/2007 Certificação CMMI-2: jan/2008 Expectativa: automatizar 60%

Elba Mota elbamota@procenge.com.br (81)4009-2877 Obrigado! Elba Mota elbamota@procenge.com.br (81)4009-2877