Avaliação de Interfaces: Heurística e Teste de Usabilidade Unisinos – Centro 6 Projeto de Interfaces – 2003/02 Profª: Renata Vieira Comentado por: Cássia T. dos Santos

Roteiro Parte I Parte II Referências Bibliográficas Considerações Iniciais Classificação dos Métodos de Avaliação Parte II Avaliação Heurística Teste de Usabilidade Comparativo Referências Bibliográficas

Avaliação Coletar informações sobre um projeto ou produto em relação a funcionalidade e a interação; Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo; Envolve desde “o que você acha desta idéia” até avaliações rigorosas (experimentos em laboratório e questionários em larga escala). Estágios iniciais do design: avaliações informais Estágios avançados: avaliações mais formais

Avaliação Obtenção de interfaces com melhor usabilidade; Garante melhores decisões de projeto; Evita custos de fazer e distribuir correções; Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais!

Por quê avaliar? Conhecer o que os usuários querem e problemas que experimentam; Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários; Responder dúvidas que surgem durante o projeto e desenvolvimento. Quanto melhor os designers estiverem informados sobre os seus clientes, melhor serão o design de seus produtos A verificação das idéias junto aos usuários permite a criação de produtos úteis e usáveis

Por quê avaliar? Verificar o sistema na situação real de uso; Comparar alternativas de design; Marketing: comparação entre produtos (funcionalidade, aceitação) Adequação a normas: produtos estão de acordo com padrões específicos (exemplo ISO)?

O que avaliar? Funcionalidade do sistema Usabilidade da interface qualidade da adequação aos problemas do usuário; design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente; Usabilidade da interface qualidade da interação usuário/sistema; fácil aprender usar o sistema, uso agradável e eficiente.

O que avaliar? Comunicabilidade Aprendizado do usuário qualidade da comunicação projetista/usuário; interface expressa o modelo de interação previsto pelos projetistas; Aprendizado do usuário conhecimento do usuário evolui através da interação.

Quando? Deve ocorrer durante o ciclo de vida do sistema: resultados utilizados para melhorias gradativas da interface. Nas primeiras fases: verificar compreensão dos projetistas sobre as necessidades dos usuários (estudo de um sistema existente); testar idéias (possibilidades de layout). Nas fases finais: identificar dificuldades do usuário; melhorar produto.

Tipos de Avaliação Formativa Somativa feita durante o processo de projeto e desenvolvimento; permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada; uso de modelos, protótipos, storyboards. Somativa avaliar o produto já terminado; testar se produto está de acordo com o estilo padrão da empresa.

Considerações Características dos usuários experiência, idade, gênero; Tipo de atividade a ser realizada atividades específicas controladas ou livres, de acordo com a vontade do usuário;

Considerações Ambiente do estudo Natureza do artefato laboratório, ambiente natural de trabalho (estudo de campo); Natureza do artefato projeto gráfico não implementado, protótipo em desenvolvimento, produto terminado.

Métodos e Técnicas de Avaliação Envolvem: observação e monitoração das interações do usuário; coleta de opiniões dos usuários; experimentos; interpretação de interações naturais; predição de usabilidade de um produto. Teste usabilidade: teste com usuário – mais tradicional Avaliação heurística: apresentam mais e melhores resultados práticos e podem ser aprendidas com facilidade

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranaukas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranaukas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo

Inspeção de Usabilidade Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface; Avaliadores: especialistas em usabilidade ou em determinado padrão de interface, consultores de software, usuários finais.

Inspeção de Usabilidade Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas; Utiliza a habilidade e a experiência de avaliadores; Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento.

Inspeção de Usabilidade Métodos: Avaliação Heurística: uso de lista de heurísticas; Revisão de Guidelines: verificação da conformidade com guidelines; Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída); Percurso Cognitivo (predição de uso): análise do “caminho” percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar.

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranaukas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo

Teste de Usabilidade Método centrado no usuário; Inclui Métodos experimentais ou empíricos; Métodos observacionais; Técnicas de questionamento. Necessária existência de uma implementação real (simulação, protótipo básico, cenário, implementação completa).

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranaukas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo

Experimento Controlado Envolve a execução de um bem projetado experimento de laboratório; Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas; Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados.

Experimento Controlado Controle de variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável; São feitos em laboratórios especialmente construídos; Coleta de dados através de observação e monitoramento; Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto.

Experimento Controlado No planejamento, observar: propósito do experimento; o que se mantém constante, o que é alterado; hipótese (estabelecida de forma a ser testada); quais testes estatísticos e por que?

Experimento Controlado Exemplo: avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros).

Experimento Controlado Exemplo Hipótese possível Teclas de função são mais eficientes (produzem execução mais rápida dos comandos); Grupos usarão duas interfaces; Significância estatística entre as diferenças serão determinadas.

Métodos e Técnicas de Avaliação Classificação (Rocha e Baranauskas, 2000) Inspeção de usabilidade Teste de usabilidade Experimento controlado Método interpretativo

Método Interpretativo Objetiva proporcionar ao projetista um melhor entendimento das condições naturais de trabalho do usuário; de como o uso do sistema se integra as outras atividades do usuário.

Método Interpretativo Coleção de dados é informal deve causar pouca interferência ao trabalho do usuário; participação do usuário na coleta, análise e interpretação dos dados; formas de registro como vídeos e áudio podem ser adotadas. Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho).

Qual método utilizar? Fatores determinantes: o que se deseja avaliar; etapa do desenvolvimento; disponibilidade de especialistas; ambiente e recursos necessários; tempo disponíveis para avaliação. Técnica ideal: misturar e adaptar métodos.

Métodos e Técnicas de Avaliação Técnicas representativas: Avaliação Heurística Teste de Usabilidade

Avaliação Heurística Engenharia Econômica de Usabilidade proposta por Nielsen (1989,1993); Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas). Efeitos significativos na interface final se forem utilizados durante o ciclo de vida do projeto. Entretanto, os desenvolvedores consideram os métodos caros e difíceis e que necessitam de tempo para serem aplicados. Para inverter isso, Nielsen propôs a denominada Engenharia econômica de usabilidade com métodos baratos, fáceis, rápidos e rápidos. A avaliação heurística é o principal método desta proposta. Não deve ser feita por um único avaliador: diferentes pessoas encontram diferentes problemas.

Avaliação Heurística Heurística: regra geral que descreve uma propriedade comum em interfaces usáveis; Avaliadores, por experiência, estudam e observam a interface; Não deve ser feita por um único avaliador (3-5).

Avaliação Heurística Metodologia: feita, em primeiro momento, individualmente; avaliadores percorrem a interface e relatam problemas encontrados, junto as heurísticas violadas; posteriormente, as listas de problemas dos avaliadores são consolidadas; discussão final: equipe de desenvolvimento e sugestões de re-design.

Avaliação Heurística Avaliadores não estarão usando o sistema de fato: interfaces não implementadas; Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados; Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários).

Algumas Heurísticas (Nielsen, 1990/93) Diálogo simples e natural; Falar na linguagem do usuário; Minimizar a carga de memória do usuário; Ser consistente; Prover feedback; Saídas claras marcadas; Prover shortcuts; Mensagens de erro construtivas e precisas; Prevenir erros; Help e documentação.

Avaliação Heurística (Rocha e Baranauskas, 2000, pág. 177)

Avaliação Heurística Diagnóstico de um problema associado as heurísticas: possibilidades concretas de re-design; Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade; Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido.

Teste de Usabilidade Observação da interação de usuários no mundo real ou sob condições controladas; Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário; Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface; Ferramentas de registro: áudio, vídeo, software para registro da interação, outras; Importante coleta da opinião do usuário. A coleta de dados se dá por observação direta: observador toma note das ações dos usuários e a interação pode ser gravada ou filmada.

Teste de Usabilidade Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos; Vantagens (Matias, 1995): indicar reações dos usuários potenciais; mostrar os problemas e falhas no sistema; mostrar onde o sistema funciona bem; fornecer idéias ao projeto através das sugestões dos usuários; fornecer meios para comparar múltiplos usuários; promover a participação do usuário.

Teste de Usabilidade Observação dos usuários: direta usuários podem ser observados diretamente em seu local de trabalho; observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado); usuários podem alterar comportamento pelo fato de estarem sendo observados;

Teste de Usabilidade Observação dos usuários: direta técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist; para registro permanente, vídeo, áudio ou logging de interação é necessário.

Teste de Usabilidade Observação dos usuários: indireta software logging: coleta é automática e não interfere no trabalho do usuário; ferramentas disponíveis para software logging; tempo de digitação: grava seqüência e os intervalos de tempo.

Teste de Usabilidade Observação dos usuários: indireta vídeo: uso de diferentes câmeras; usuários têm noção de que estão sendo filmados; reduzir impacto da presença da câmera: coloca-la dias antes do início das filmagens; análise é difícil e consome tempo; podem ser usados para convencer gerentes e projetistas dos problemas no sistema.

Teste de Usabilidade Coleta da opinião dos usuários: além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia; impressão dos usuários sobre o software; performance pode ser boa, mas usuário não gostar do sistema; detalhes para os projetistas podem ser desagradáveis ao usuário.

Teste de Usabilidade Coleta da opinião dos usuários: protocolo verbal: usuários “pensam em voz alta”; usuários podem ver vídeos e comentar sobre suas ações; dois usuários podem testar uma interface e comentar; entrevistas e questionários podem ser utilizados.

Teste de Usabilidade Entrevistas e questionários: dados de entrevistas: qualitativos; dados de questionários: quantitativos; questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados; questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas.

Teste de Usabilidade Entrevistas e questionários: entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico); entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema; entrevistador responsável por criar um clima agradável de conversação.

Teste de Usabilidade Entrevistas e questionários: questionários podem conter respostas fechadas ou abertas; fechadas checklists (sim, não, não sei); escalas (muito útil ... Inútil; concordo plenamente ... discordo plenamente); questionários devem ser breves; estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20.

Teste de Usabilidade Testes realizados em laboratório; Problemas: limitações de tempo e de recursos; dificuldade em conseguir usuários representativos; contexto do trabalho dificilmente consegue ser reproduzido; Saídas: testes remotos (tele-conferência); testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help).

Teste de Usabilidade Plano detalhado de teste: objetivo, quando e onde, duração, recursos necessários, experimentadores, usuários, tarefas a serem avaliadas; Etapas: Preparação dos recursos; Apresentação usuários as tarefas de teste; Teste (evitar auxiliar o usuário); Sessão final: usuários convidados a comentar, sugerir e comentar ou responder questionário; Tarefas devem ser as mais representativas e devem dar uma cobertura razoável das partes mais significativas da interface.

Teste de Usabilidade Usuários: Representativos em relação aos usuários aos reais: se não forem usuário reais: características similares (idade, conhecimento, experiência com sistema, outras); evitar influências: Ex.: determinar um conjunto de ícones que é mais rapidamente reconhecido por crianças entre 7 e 10 anos selecionar crianças que cubram todas as idades; número igual de meninos e meninas; mesmo nível de experiência; notas escolares semelhantes.

Teste de Usabilidade Equipe experimentadores: conhecimento da aplicação e interface; saber lidar com problemas que afetem o teste; isenção na avaliação.

Teste de Usabilidade Comentar com usuário: importância do teste: melhorias na interface; sistema é confidencial e resultados não serão colocados publicamente; participação é voluntária (usuários tem outras coisas para fazer); explicar gravações de vídeo ou áudio; informa-los dos objetivos do teste, tarefas a serem realizadas e que podem ser livres para abandonar o teste se assim desejarem.

Comparativo Testes de laboratório são caros; Abordagem heurística proposta para oferecer informação de usabilidade de modo mais rápido e barato não substituem os testes: uso em conjunto; Avaliação heurística melhor quando aplicada por especialistas em avaliação; permite avaliação global da interface, menor custo, detecção de erros; Abordagem heurística: usado quando testes não são possíveis ou em conjunto com eles. Entretanto, não substituem os testes.

Comparativo Testes são mais eficazes, mas caros (50x); Avaliação heurística detectou mais problemas ao custo mais baixo, mas necessita de pessoas com conhecimento e experiência para aplica-la (Jeffries); Não se pode afirmar qual o melhor método: cada situação de projeto irá requerer uma forma de avaliação.

Referências Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola de Computação, 2000), 242 p. Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995 (dissertação de mestrado). Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In: XIX Congresso Nacional da Sociedade Brasileira de Computação, 1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade Brasileira de Computação; Material disponibilizado pela Profª Renata Vieira.