João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade1 “Não é o que considera sobre o seu sítio que conta, mas sim o que os utilizadores pensam dele.” — Jakob Nielsen (adaptado)

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade2 O que são? São testes que avaliam o desempenho de um produto quando utilizado pelos utilizadores ao qual este se destina. São testes laboratoriais realizados em condições controladas similares àquelas nas quais o produto se irá utilizar. Testam a primeira utilização de uma nova funcionalidade do produto.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade3 Para que servem? Permitem obter uma avaliação quantitiva do desempenho do sistema. Conhecer: –O tempo de execução médio de cada tarefa. –A percentagem de utilizadores que completaram, com sucesso, cada tarefa. –O número de vezes que o utilizador recorreu à documentação para cada tarefa. –O número e tipo (observações e comentários, não- críticos e críticos) de erros. (...)

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade4 Para que servem? Permitem obter uma avaliação qualitativa do sistema – opinião dos utilizadores sobre: –Informação dos ecrãs. –Terminologia e informação do sistema. –Aprendizagem. –Capacidades do sistema.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade5 Quando se fazem? [Rubin, 1994] Na fase inicial de projecto: para estabelecer a intuitividade da implementação – teste exploratório. Na fase inicial e durante a fase de desenvolvimento: para medir a efectividade da implementação – teste de avaliação. Na fase próxima do lançamento: para verificar que o produto corresponde ou excede as expectativas e como é que o produto se comporta como um todo – teste de validação. A qualquer instante: para comparar o desempenho do sistema antes e depois de determinada alteração – teste comparativo.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade6 Como proceder? Definir o público-alvo e os seus objectivos. –Quem vai utilizar o produto e o que pretende do mesmo? Definir tarefas com base nesses objectivos. –As tarefas são cenários típicos de utilização do produto pelo público-alvo. Encontrar as pessoas adequadas. –Devem corresponder ao perfil do público-alvo ou aproximar-se o mais possível. Observá-las a executar as tarefas. –Tentar compreender o modelo mental dos utilizadores para que o produto os satisfaça. Deve-se pedir ao utilizador que vá dizendo o que pensa à medida que utiliza o produto.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade7 Um caso prático Avaliar a usabilidade de um sistema de Banca na Internet. Realizar um pré-teste para melhorar o teste real. Será que as pessoas com mais receptividade para a tecnologia têm mais facilidade em utilizar a Banca na Internet? Quais são os melhoramentos a introduzir na Banca na Internet para que esta possa ser utilizada por pessoas com menos aptidão tecnológica?

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade8 Público-alvo e objectivos Constituído por alunos universitários que tenham ingressado este ano no ensino superior. Devem fazer algum uso da Internet. Não devem conhecer a Banca na Internet do banco em questão. Os utilizadores pretendem consultar informações sobre o banco e produtos disponibilizados.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade9 Tarefas Obtenção de informações sobre empréstimo para suportar os custos da educação. Saber qual a taxa de câmbio para uma moeda estrangeira. Determinar as condições para a aquisição de habitação própria.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade10 Selecção de utilizadores (1ª fase) Encontrar um grupo numeroso de pessoas que se encaixem no perfil demográfico. Neste caso são alunos universitários que ingressaram este ano no ensino superior. Distribuir um questionário a estes utilizadores para determinar: –Receptividade a novas tecnologias. Uso de uma escala já testada (Technology Readiness Index —TRI, [Parasuraman, 2000]) que avalia 4 dimensões: Optimismo, Capacidade de inovação, Desconforto e Insegurança. –Utilização de novas tecnologias (Internet e Banca na Internet). –Informações demográficas detalhadas.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade11 Selecção de utilizadores (2ª fase) Ordenar os utilizadores pelo seu índice de receptividade a novas tecnologias (TRI). Eliminar outlyers. Definir três grupos de alguns candidatos com índices baixos, médios e altos. De cada grupo escolher dois utilizadores (um participante e outro suplente) cujo índice reflicta a utilização que faz das novas tecnologias. Para o pré-teste escolher dois utilizadores (um participante e um suplente) do grupo com índices médios.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade12 TRI dos candidatos

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade13 Reunião com os utilizadores Depois de escolhidos convocam-se telefonicamente os utilizadores para uma reunião onde se irá explicar: –Os documentos que irão assinar no dia do teste. –Que as acções que executam sobre o produto irão ser registadas e observadas por um painel de observadores. –Quais as regras de funcionamento do teste. Deve também informar os utilizadores da data e hora de realização do teste.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade14 O teste (para o utilizador) Autorização de participação Acordo de confidencialidade (preenchido por todos os intervenientes no teste) Execução das tarefas Entrevista final (foca pontos dúbios da utilização que fez do produto) Questionário para avaliação de satisfação ([Chin et al, 1988]) onde o utilizador pode descrever até três aspectos negativos e três positivos.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade15 Cenário físico

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade16 O teste (para o monitor) O monitor permanece com o utilizador numa sala e observa o seu comportamento. Deve pedir ao utilizador para verbalizar os seus pensamentos sobre o produto. Deve dialogar com o utilizador sem lhe colocar perguntas fechadas (“Considera (in)seguro?” vs “O que pensa da segurança?”). Não deve mostrar muito conhecimento sobre o produto.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade17 O teste (para o observador) O observador permanece noutra sala que deve estar isolada visual e acusticamente da sala onde decorre o teste. O observador regista os dados objectivos da utilização, permitindo assim que o monitor se concentre no diálogo com o utilizador. Vários observadores e um monitor.

João Falcão e Cunha, Miguel B. Gonçalves © 2003 Testes de Usabilidade18 Resultados Análise demográfica dos participantes Análise da execução das tarefas Análise dos questionários de avaliação de satisfação Comentários relevantes dos utilizadores durante o teste Recomendações baseadas nos pontos anteriores