SCORE 2009 – aula a convite do Prof. Jaelson Castro Marcelo d’Amorim Testes em 2h

SCORE 2009 – aula a convite do Prof. Jaelson Castro Marcelo d’Amorim Testes em 2h Nota particular: foco de pesquisa é automação de testes (model checking de programas) e depuração.

SCORE 2009 – aula a convite do Prof. Jaelson Castro Marcelo d’Amorim Testes em 2h Mas o foco da aula é a atividade de teste no desenvolvimento de software. Relato de experiência.

Motivação econômica Teste e depuração é responsável por + de 50% do custo total de desenvolvimento [Myers-1979, NIST-report-2002] Defeitos escapados podem ter consequências desastrosas Exemplo: Mars Orbiter (1999), Ariane 5 (2001)

Verificação e Validação (V&V) Theorem proving Static analysis Testing Inspection Walkthroughs

Limitações de Teste Não prova corretude como theorem proving Não é automático como análise estática Porém... É técnica de V&V dominante na indústria Documenta intenções e designs Pode ser combinada com técnicas formais para encontrar erros de forma mais sistemática. Por exemplo, Kernel do Linux [Cadar et al., 2006], Protocolos de rede [d´Amorim et al., 2005], Escalonador de tempo real [Penix et al., 2000], etc.

Definição: Teste (artefato) “A set of test inputs, execution conditions, and expected results developed for a particular objective, such as to exercise a particular program path or to verify compliance with a specific requirement” [IEEE, do178b]

Definição: Teste (artefato) “A set of test inputs, execution conditions, and expected results developed for a particular objective, such as to exercise a particular program path or to verify compliance with a specific requirement” [IEEE, do178b]

Exemplo public class Customer { String getName() {…} } public class Bank{ static Bank createBank() {…} Customer createCustomer(String name) {…} }

Exemplo public class Customer { String getName() {…} } public class Bank{ static Bank createBank() {…} Customer createCustomer(String name) {…} } Bank bank = Bank.createBank(); String name = “customer1“; Customer cust = bank.createCustomer(name); Assert.assertEquals(name, cust.getName());

Exemplo public class Customer { String getName() {…} } public class Bank{ static Bank createBank() {…} Customer createCustomer(String name) {…} } Bank bank = Bank.createBank(); String name = “customer1“; Customer cust = bank.createCustomer(name); Assert.assertEquals(name, cust.getName()); Entrada e resultado esperado:

Exemplo public class Customer { String getName() {…} } public class Bank{ static Bank createBank() {…} Customer createCustomer(String name) {…} Customer search(String name) {…} } Bank bank = Bank.createBank(); String name = “customer1“; Customer cust = bank.search(name); if (cust == null) { Customer cust = bank.createCustomer(name); Assert.assertEquals(name, cust.getName()); } Condições de execução:

Terminologia: Falta e Falha IEEE STD ( ‏ Fault (falta, bug ou defeito) ‏ : problema Failure (falha, ou erro) ‏ : manifestação do problema Mais detalhes… Software Metrics and Reliability [Rosenberg et al., ISSRE’98]

Quiz: Localize falta e falha no pgm. abaixo // pre condicao: v != null public static void sort(int[] v) { for (int i = 0; i <= v.length; i++) { …v[i] … }

Quiz: Localize falta e falha no pgm. abaixo // pre condicao: v != null public static void sort(int[] v) { for (int i = 0; i <= v.length; i++) { …v[i] … } defeito manifestação do defeito

Teste e Depuração Teste é atividade de localizar falhas! Depuração é atividade de localizar faltas!

Teste e Depuração Teste é atividade de localizar falhas! Depuração é atividade de localizar faltas! No exemplo anterior Atividade de teste revela um erro no uso de v[i]. E.g., com sort(new int[]{}); Depuração localiza o defeito na condição de parada do loop: i <= v.length

Terminologia: suíte e regressão Suíte de testes é o mesmo que conjunto de testes Regressão é o evento de uma falha em um teste que já passou Suíte de regressão serve para capturar falhas com origem na modificação contínua do programa

Integração Drivers Stubs X S1 S2 main Driver SUT Stubs Existem ferramentas para apoiar a substituição de componentes incompletos por stubs (mock). Por exemplo, jmockit.

Enquete: Voce já usou? JUnit3 JUnit4 NUnit Ant Make

Demo JUnit 3 e 4 usando o Eclipse

JUnit cheat-sheet os/junit-README os/junit-README Recomendações Crie diretório fonte separado facilita build Use na classe de teste o mesmo pacote do SUT facilita acesso a campos e localização dos testes Use asserções para confirmar resultado do teste. Não use saída padrão! confirmação automática não comete erros

Testes no desenvolvimento

Gerência de bugs (E.g., bugzilla) Teste contínuo

programadortestador gerente cliente alguns papéis

programadortestador gerente requisitos atribuição cliente

programadortestador gerente Bug tracker

Sistema de bug tracking Objetivo: gerenciar ciclo de vida de bugs Programadores e testadores modificam status de bugs Gerentes tem acesso a informação valiosa Exemplo: frequência de erro por módulo Exemplo: Bugzilla (open-source).

Máquina de estados de um bug no Bugzilla

Teste contínuo Execução ininterrupta de testes Alternativas Unidade (localmente) ver Integração (no servidor) ver Problemas (mais críticos quando usado localmente) Pode impactar performance Pode reportar falso alarmes (devido a modificações incompletas)

Resumo Ferramenta de gerência de erros E.g., bugzilla, clearquest, etc. Ferramenta de integração contínua E.g., continuum, cruisecontrol, etc. Controle de versão E.g., cvs, svn, etc. Ferramenta de build E.g., ant, make, maven, etc.

Recomendações

Recomendações de ferramentas Fortes Controle de versão (svn, cvs, etc.) Build automatizado (make, ant, etc.) Testes automatizados (Junit, Nunit, etc.) Equipes com M desenvolvedores Integração contínua Equipes com N desenvolvedores Bug tracking M > N. Sugestão: M>3 e N>5.

Recomendações de práticas Teste freqüente de regressão (integração contínua ajuda) Antecipa correção de defeito (evita propagação) Ao menos diário e automático (use ant, make, maven, etc.) Construa logo teste de sistema. A seguir, integração e unidade. Use objetos mock para facilitar integração! Documenta intenções e designs (arquitetura) sistema > integração > unidade Custo de manutenção unidade > integração > sistema

Recomendações de práticas Teste freqüente de regressão Ao menos diário Automático (use ant, make, maven, etc.) Antecipa correção de defeito Construa logo teste de sistema. A seguir, integração e unidade. Use objetos mock para facilitar integração! Documenta intenções e designs (arquitetura) sistema > integração > unidade Custo de manutenção unidade > integração > sistema automação pode ajudar

Outras recomendações (implementação) Pair Programming Principalmente em fases iniciais amadurecimento de arquitetura Alternação Cada desenvolvedor deve entender bem cada módulo do sistema