Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Usabilidade A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241) 2

Problema de Usabilidade ... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997) 3

Descrição de um Problema de Usabilidade Contexto : situação de uso em que o problema pode ser verificado Efeito sobre o usuário : sobrecarga cognitiva Efeito sobre a tarefa : trabalho adicional Causa : aspecto do sistema Re-design possível : alteração no projeto 4

Como identificar um problema prioritário? Natureza do problema: barreira, obstáculo ou ruído Natureza da tarefa: importante e frequente ou secundária e esporádica Quais Usuários: geral, novatos, intermitentes, especialista ou usuários especiais

Por quê? correções em projetos em desenvolvimento. revisões em produtos acabados. Definir a aceitação ou não, de projetos encomendados. Comparar o desempenho de softwares interativos ..... Técnicas Formativa: detectar erros de concepção de modo a poder imediatamente melhorar a usabilidade da interface: Técnicas Somativas: implicam o usuário na avaliacao e portam diretamente sobre um sistema implementado; Técnicas Preditiva: realizadas durante a concepção, não necessitando nem de um sistema implementado, nem da presença de um usuário final. Trata-se de detecatr erros de projeto / prever dificuldades para o usuário Técnicas Experimentais: implicam em uma versão implementada do sistema, necessitando da presença de um usuário final. Trata-se de constatar a presença de problemas reais; Técnicas empíricas: avaliam a usabilidade através de dados comportamentais sobre a utilização do sistema Técnicas Analíticas: avaliam a usabilidade através de um conjunto de qualidades que o sistema deve possuir. 67 9 36

Como? constatar, observar e registrar problemas; calcular métricas objetivas para eficácia, eficiência e produtividade; diagnosticar as falhas do projeto que provavelmente atrapalhem a interação; prever dificuldades de aprendizado na operação do sistema; prever os tempos de execução de tarefas; conhecer a opinião do usuário; sugerir as ações de re-projeto.

Técnicas de Avaliação de Usabilidade Técnicas Prospectivas baseadas na opinião do usuário sobre a interação com o sistema Técnicas Diagnósticas (ou preditivas) baseadas no conhecimento / competência do avaliador Técnicas Definitivas (ou empíricas) baseadas na observação da interação Técnicas Formativa: detectar erros de concepção de modo a poder imediatamente melhorar a usabilidade da interface: Técnicas Somativas: implicam o usuário na avaliacao e portam diretamente sobre um sistema implementado; Técnicas Preditiva: realizadas durante a concepção, não necessitando nem de um sistema implementado, nem da presença de um usuário final. Trata-se de detecatr erros de projeto / prever dificuldades para o usuário Técnicas Experimentais: implicam em uma versão implementada do sistema, necessitando da presença de um usuário final. Trata-se de constatar a presença de problemas reais; Técnicas empíricas: avaliam a usabilidade através de dados comportamentais sobre a utilização do sistema Técnicas Analíticas: avaliam a usabilidade através de um conjunto de qualidades que o sistema deve possuir. 67 12 36

Questionários para avaliar a satisfação do usuário ISONORM baseado nos princípios da norma ISO 9241-10 (Prumper, 1999) QUIS Questionaire for User Interaction Satisfaction - U. Maryland (Norman, 1989) http://www.lap.umd.edu/QUIS/index.html SUS Systema Usability Scale da DEC (Digital Equipment Corp) Técnicas Prospectivas 67 36 13

Técnicas Diagnósticas (ou preditivas) Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador 67 14 36

Técnicas Diagnósticas (ou preditivas) Inspeção de Conformidade (por checklists) Avaliações Heurísticas Usabilidade em geral Intuitividade (Inspeção Cognitiva) Gestão de erros (Inspeção Preventiva) 67 15 36

Inspeções de Conformidade (por checklists) Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador; Técnicas Diagnósticas (ou preditivas) 67 36 15

Inspeções de Conformidade Checklists oficiais Norma ISO 9241 Checklists informais Evadis II (Oppermman, 1992) ErgoList (Cybis, 1996) ISOmetrics (Gediga, 1999) W3C Assessibility

Inspeções de Conformidade Características Abordagem Dependente da organização das listas de verificação; Em geral são orientados à qualidades ou à componentes Tipo de Diagnóstico Grande quantidade de problemas intermediários e menores; 28

Inspeções de Conformidade Características (cont.) Sistematização Dependente da qualidade da lista de verificação; Podem permitir avaliações repetitíveis / reproduzíveis Custo x Benefício Avaliação barata e sistemática, porém limitada a problemas intermediários e menores Proporcionam que pessoas sem formação específica em ergonomia possam realizar uma inspeção de usabilidade; 29

Inspeções de Conformidade Estratégia Análise contextual (em equipe) Reconhecer o sistema Conhecer o contexto de operação Ajustes (em equipe) Definir aplicabilidade das questões Definir prioridades entre as questões Aplicação Aplicação individual Reuniões de discussão dos diagnósticos Relatório (lider de equipe) Descrição de problemas Sugestões de melhoria Estatísticas 40 20

Inspeções de Conformidade Normas ISO de Usabilidade ISO 9126 - Características de qualidade ISO 9241 - Ergonomia de Soft. Escritórios ISO 11581 - Ícones ISO 14915 - Multimídia IU Design ISO 13407 - Projeto Centrado no Usuário ISO 16982 - Métodos de Usabilidade ISO 14598 - Processo de Avaliação 43 30

Técnicas Diagnósticas (ou preditivas) Baseadas em Conhecimento Avaliação Heurística Definição Análise de conformidade do sistema face a padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas. 67 15 36

Avaliações Heurísticas Grades de Heurísticas de Usabilidade Heurísticas de Nielsen (Nielsen, 1994) Princípios de Diálogo (ISO 9241-10) Critérios Ergonômicos (Scapin & Bastien, 1993) 39 16

Avaliações Heurísticas Características Abordagem Definida pelo avaliador tarefas do usuário estrutura da interface níveis de abstração componentes técnicos grades de qualidades ergonômicas Tipo de Diagnóstico Todos os tipos problemas ergonômicos do software, inclusive os falsos; 39 18

Avaliações Heurísticas Características (cont.) Sistematização Dose de subjetividade elevada - intrínseca ao avaliador; Custo x Benefício Avaliação rápida, abrangente, porém subjetiva e pouco sistemática Demanda uma equipe de avaliadores 39 19

Técnicas Diagnósticas (ou preditivas) Baseadas em Conhecimento Inspeção Cognitiva Definição Confronto entre as lógicas de operação do Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto para as tarefas; Perspectiva do usuário novato - o caminho que parece o correto a um usuário novato; 67 15 36

Inspeção Cognitiva Características Abordagem Orientada à tarefa Tipo de Diagnóstico problemas gerais e iniciais (ligados à intuitividade do sistema); 23

Inspeção Cognitiva Estratégia Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a serem avaliadas Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem. 39 25

Inspeção Cognitiva Checklist O usuário tentará realizar a tarefa certa? Ele verá o objeto associado a esta tarefa? Ele reconhecerá o objeto como associado à tarefa? Ele saberá operar o objeto? Ele compreenderá o feedback fornecido? 39 26

Técnicas Preditivas Baseadas em Conhecimento Inspeção Preventiva de Erros Definição Aplicação de guidewords (heurísticas) ao modelo de tarefas previstas para predizer possíveis desvios. 67 15 36

Inspeção Preventiva de Erros Características Abordagem Orientada à tarefa Tipo de Diagnóstico problemas gerais e definitivos 23

Inspeção Preventiva de Erros Características (cont.) Sistematização Dependente da competência do avaliador neste tipo de técnica; Custo x Benefício Avaliação rápida e barata Induz a consideração aos possíveis erros do usuário; 24

Inspeção Preventiva de Erros Estratégia Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a serem avaliadas (CTT) Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem. Inspeção nas tarefas de alto nível 39 25

Inspeção Preventiva de Erros Heurísticas – GuideWords Se aplicam às partes das tarefas básicas Entradas Realização Resultados 39 25

Inspeção Preventiva de Erros Resultados Tabelas para cada tarefa Tarefa Guideword de desvio possivel Explicações sobre os desvios (Modelo de Norman, 1988) Causas dos desvios Consequências dos desvios Recomendações de reprojeto 39 25

Inspeção de Desvios Heurísticas – GuideWords Nada acontecer? Algo diferente acontecer? Mais Menos Diferente Acontecer fora de tempo? Antes Depois 39 25

Técnicas Definitivas Ensaios de Interação Sistemas de monitoramento 36 67 36 36

Ensaios de Interação Conceituação Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação 67 37 36

Ensaios de Interação Características Abordagem técnica orientada ao usuário e à tarefa Tipo de Diagnóstico Revela problemas reais ou efetivos, segundo a perspectiva do usuário 62 38

Ensaios de Interação Características (cont.) Sistematização dependente da qualidade de scripts e dos cenários nas simulações; Custo x Benefício Avaliação custosa, porém reveladora de problemas sérios ligados à perspectiva do usuário; 62 39

Ensaios de Interação Elementos de Configuração (1/4) Scripts conjuntos de operações da uma tarefa real que, durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo. Cenários contexto ambientais e organizacionais que caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções, 90 40 65

Ensaios de Interação Elementos de Configuração (2/4) Amostra de Usuários especialistas nas tarefas, novatos, experientes na operação do sistema e outros; Local de realização local de trabalho; laboratório; 41

Ensaios de Interação Elementos de Configuração (3/4) Constrangimento esclarecer que quem está sendo testado é o software. não pressioná-los a participarem dos ensaios; não expô-los a comentários de colegas. Cansaço  parar. Garantia de privacidade. 42

Ensaios de Interação Elementos de Configuração (4/4) Situações de impasse não interferir inicialmente; Não prolongar as situações de impasse; mostrar o caminho ao usuário ou; propor a troca de tarefas; Encerrar o ensaio no caso de constrangimentos; 43

registro da observação Papel e caneta. Registro em vídeo. Verbalização simultânea. Verbalização consecutiva Monitoramento da sessão - via screenCam Técnicas de registro da observação. Transcrição. Esquemas de códigos.

Ensaios de Interação Estratégia Análise Contextual Diagnóstico preliminar Definições Scripts, Cenários e amostra de usuários Realização de Ensaios Obtenção da amostra de usuários Ajustes nos scripts e cenários Planejamento e Execução Relatório do ensaio Análise e interpretação dos dados obtidos Redação do relatório do ensaio 62 45

Ensaios de Interação Resultados Quantitativos Métricas de produtividade na interação Eficácia = quantidade de tarefas realizadas * 100 / quantidade de tarefas solicitadas Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa 44

Ensaios de Interação Resultados Qualitativos Confirmação de diagnóstico preliminar de problemas na interface Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas 44

MONTAGEM DE ENSAIO DE INTERAÇÃO DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA Reconhecimento do usuário Coleta de informações sobre o usuário e sua tarefa Definição de tarefas para o usuário REALIZAÇÃO DOS ENSAIOS Coleta e análise dos dados Realização dos ensaios Diagnóstico e relatório final Preparação dos ensaios Ajuste nos scripts e cenários ANÁLISE PRELIMINAR Reconhecimento do software Pré-diagnóstico Ergonômico Obtenção da amostra de usuários

Compromisso de uma técnica de avaliação Efetividade –quantidade de problemas sérios) identificados - heurísticas e os ensaios de interação; Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas; Eficiência - os ensaios de interação; Produtividade – relação eficência/custo; Sistematização – repetitividade e reproduzibilidade - Checklists. Facilidade de aplicação –checklists; Poder de persuasão - ensaios de interação e as avaliações heurísticas Poder de desobstrução.

Projeto de uma avaliação análise : identificação dos requisitos da avaliação; projeto preliminar : seleção das técnicas aplicáveis; projeto detalhado : configuração das técnicas; implementação : realização da avaliação; documentação : elaboração do relatório; validação : confronto entre os resultados esperados e obtidos com a avaliação.