Avaliação de Usabilidade de IHC

Apresentação em tema: "Avaliação de Usabilidade de IHC"— Transcrição da apresentação:

1 Avaliação de Usabilidade de IHC
Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

2 Usabilidade A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241) 2

3 Problema de Usabilidade
... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997) 3

4 Descrição de um Problema de Usabilidade
Contexto : situação de uso em que o problema pode ser verificado Efeito sobre o usuário : sobrecarga cognitiva Efeito sobre a tarefa : trabalho adicional Causa : aspecto do sistema Re-design possível : alteração no projeto 4

5 Como identificar um problema prioritário?
Natureza do problema: barreira, obstáculo ou ruído Natureza da tarefa: importante e frequente ou secundária e esporádica Quais Usuários: geral, novatos, intermitentes, especialista ou usuários especiais

6 Por quê? correções em projetos em desenvolvimento.
revisões em produtos acabados. Definir a aceitação ou não, de projetos encomendados. Comparar o desempenho de softwares interativos ..... Técnicas Formativa: detectar erros de concepção de modo a poder imediatamente melhorar a usabilidade da interface: Técnicas Somativas: implicam o usuário na avaliacao e portam diretamente sobre um sistema implementado; Técnicas Preditiva: realizadas durante a concepção, não necessitando nem de um sistema implementado, nem da presença de um usuário final. Trata-se de detecatr erros de projeto / prever dificuldades para o usuário Técnicas Experimentais: implicam em uma versão implementada do sistema, necessitando da presença de um usuário final. Trata-se de constatar a presença de problemas reais; Técnicas empíricas: avaliam a usabilidade através de dados comportamentais sobre a utilização do sistema Técnicas Analíticas: avaliam a usabilidade através de um conjunto de qualidades que o sistema deve possuir. 67 9 36

7 Como? constatar, observar e registrar problemas;
calcular métricas objetivas para eficácia, eficiência e produtividade; diagnosticar as falhas do projeto que provavelmente atrapalhem a interação; prever dificuldades de aprendizado na operação do sistema; prever os tempos de execução de tarefas; conhecer a opinião do usuário; sugerir as ações de re-projeto.

8 Técnicas de Avaliação de Usabilidade
Técnicas Prospectivas baseadas na opinião do usuário sobre a interação com o sistema Técnicas Diagnósticas (ou preditivas) baseadas no conhecimento / competência do avaliador Técnicas Definitivas (ou empíricas) baseadas na observação da interação Técnicas Formativa: detectar erros de concepção de modo a poder imediatamente melhorar a usabilidade da interface: Técnicas Somativas: implicam o usuário na avaliacao e portam diretamente sobre um sistema implementado; Técnicas Preditiva: realizadas durante a concepção, não necessitando nem de um sistema implementado, nem da presença de um usuário final. Trata-se de detecatr erros de projeto / prever dificuldades para o usuário Técnicas Experimentais: implicam em uma versão implementada do sistema, necessitando da presença de um usuário final. Trata-se de constatar a presença de problemas reais; Técnicas empíricas: avaliam a usabilidade através de dados comportamentais sobre a utilização do sistema Técnicas Analíticas: avaliam a usabilidade através de um conjunto de qualidades que o sistema deve possuir. 67 12 36

9 Questionários para avaliar a satisfação do usuário
ISONORM baseado nos princípios da norma ISO (Prumper, 1999) QUIS Questionaire for User Interaction Satisfaction - U. Maryland (Norman, 1989) SUS Systema Usability Scale da DEC (Digital Equipment Corp) Técnicas Prospectivas 67 36 13

10 Técnicas Diagnósticas (ou preditivas)
Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador 67 14 36

11 Técnicas Diagnósticas (ou preditivas)
Inspeção de Conformidade (por checklists) Avaliações Heurísticas Usabilidade em geral Intuitividade (Inspeção Cognitiva) Gestão de erros (Inspeção Preventiva) 67 15 36

12 Inspeções de Conformidade (por checklists)
Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador; Técnicas Diagnósticas (ou preditivas) 67 36 15

13 Inspeções de Conformidade
Checklists oficiais Norma ISO 9241 Checklists informais Evadis II (Oppermman, 1992) ErgoList (Cybis, 1996) ISOmetrics (Gediga, 1999) W3C Assessibility

14 Inspeções de Conformidade Características
Abordagem Dependente da organização das listas de verificação; Em geral são orientados à qualidades ou à componentes Tipo de Diagnóstico Grande quantidade de problemas intermediários e menores; 28

15 Inspeções de Conformidade Características (cont.)
Sistematização Dependente da qualidade da lista de verificação; Podem permitir avaliações repetitíveis / reproduzíveis Custo x Benefício Avaliação barata e sistemática, porém limitada a problemas intermediários e menores Proporcionam que pessoas sem formação específica em ergonomia possam realizar uma inspeção de usabilidade; 29

16 Inspeções de Conformidade Estratégia
Análise contextual (em equipe) Reconhecer o sistema Conhecer o contexto de operação Ajustes (em equipe) Definir aplicabilidade das questões Definir prioridades entre as questões Aplicação Aplicação individual Reuniões de discussão dos diagnósticos Relatório (lider de equipe) Descrição de problemas Sugestões de melhoria Estatísticas 40 20

17 Inspeções de Conformidade Normas ISO de Usabilidade
ISO Características de qualidade ISO Ergonomia de Soft. Escritórios ISO Ícones ISO Multimídia IU Design ISO Projeto Centrado no Usuário ISO Métodos de Usabilidade ISO Processo de Avaliação 43 30

18 Técnicas Diagnósticas (ou preditivas) Baseadas em Conhecimento
Avaliação Heurística Definição Análise de conformidade do sistema face a padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas. 67 15 36

19 Avaliações Heurísticas
Grades de Heurísticas de Usabilidade Heurísticas de Nielsen (Nielsen, 1994) Princípios de Diálogo (ISO ) Critérios Ergonômicos (Scapin & Bastien, 1993) 39 16

20 Avaliações Heurísticas Características
Abordagem Definida pelo avaliador tarefas do usuário estrutura da interface níveis de abstração componentes técnicos grades de qualidades ergonômicas Tipo de Diagnóstico Todos os tipos problemas ergonômicos do software, inclusive os falsos; 39 18

21 Avaliações Heurísticas Características (cont.)
Sistematização Dose de subjetividade elevada - intrínseca ao avaliador; Custo x Benefício Avaliação rápida, abrangente, porém subjetiva e pouco sistemática Demanda uma equipe de avaliadores 39 19

22 Técnicas Diagnósticas (ou preditivas) Baseadas em Conhecimento
Inspeção Cognitiva Definição Confronto entre as lógicas de operação do Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto para as tarefas; Perspectiva do usuário novato - o caminho que parece o correto a um usuário novato; 67 15 36

23 Inspeção Cognitiva Características
Abordagem Orientada à tarefa Tipo de Diagnóstico problemas gerais e iniciais (ligados à intuitividade do sistema); 23

24 Inspeção Cognitiva Estratégia
Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a serem avaliadas Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem. 39 25

25 Inspeção Cognitiva Checklist
O usuário tentará realizar a tarefa certa? Ele verá o objeto associado a esta tarefa? Ele reconhecerá o objeto como associado à tarefa? Ele saberá operar o objeto? Ele compreenderá o feedback fornecido? 39 26

26 Técnicas Preditivas Baseadas em Conhecimento
Inspeção Preventiva de Erros Definição Aplicação de guidewords (heurísticas) ao modelo de tarefas previstas para predizer possíveis desvios. 67 15 36

27 Inspeção Preventiva de Erros Características
Abordagem Orientada à tarefa Tipo de Diagnóstico problemas gerais e definitivos 23

28 Inspeção Preventiva de Erros Características (cont.)
Sistematização Dependente da competência do avaliador neste tipo de técnica; Custo x Benefício Avaliação rápida e barata Induz a consideração aos possíveis erros do usuário; 24

29 Inspeção Preventiva de Erros Estratégia
Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a serem avaliadas (CTT) Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem. Inspeção nas tarefas de alto nível 39 25

30 Inspeção Preventiva de Erros Heurísticas – GuideWords
Se aplicam às partes das tarefas básicas Entradas Realização Resultados 39 25

31 Inspeção Preventiva de Erros Resultados
Tabelas para cada tarefa Tarefa Guideword de desvio possivel Explicações sobre os desvios (Modelo de Norman, 1988) Causas dos desvios Consequências dos desvios Recomendações de reprojeto 39 25

32 Inspeção de Desvios Heurísticas – GuideWords
Nada acontecer? Algo diferente acontecer? Mais Menos Diferente Acontecer fora de tempo? Antes Depois 39 25

33 Técnicas Definitivas Ensaios de Interação Sistemas de monitoramento 36
67 36 36

34 Ensaios de Interação Conceituação
Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação 67 37 36

35 Ensaios de Interação Características
Abordagem técnica orientada ao usuário e à tarefa Tipo de Diagnóstico Revela problemas reais ou efetivos, segundo a perspectiva do usuário 62 38

36 Ensaios de Interação Características (cont.)
Sistematização dependente da qualidade de scripts e dos cenários nas simulações; Custo x Benefício Avaliação custosa, porém reveladora de problemas sérios ligados à perspectiva do usuário; 62 39

37 Ensaios de Interação Elementos de Configuração (1/4)
Scripts conjuntos de operações da uma tarefa real que, durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo. Cenários contexto ambientais e organizacionais que caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções, 90 40 65

38 Ensaios de Interação Elementos de Configuração (2/4)
Amostra de Usuários especialistas nas tarefas, novatos, experientes na operação do sistema e outros; Local de realização local de trabalho; laboratório; 41

39 Ensaios de Interação Elementos de Configuração (3/4)
Constrangimento esclarecer que quem está sendo testado é o software. não pressioná-los a participarem dos ensaios; não expô-los a comentários de colegas. Cansaço  parar. Garantia de privacidade. 42

40 Ensaios de Interação Elementos de Configuração (4/4)
Situações de impasse não interferir inicialmente; Não prolongar as situações de impasse; mostrar o caminho ao usuário ou; propor a troca de tarefas; Encerrar o ensaio no caso de constrangimentos; 43

41 registro da observação
Papel e caneta. Registro em vídeo. Verbalização simultânea. Verbalização consecutiva Monitoramento da sessão - via screenCam Técnicas de registro da observação. Transcrição. Esquemas de códigos.

42 Ensaios de Interação Estratégia
Análise Contextual Diagnóstico preliminar Definições Scripts, Cenários e amostra de usuários Realização de Ensaios Obtenção da amostra de usuários Ajustes nos scripts e cenários Planejamento e Execução Relatório do ensaio Análise e interpretação dos dados obtidos Redação do relatório do ensaio 62 45

43 Ensaios de Interação Resultados Quantitativos
Métricas de produtividade na interação Eficácia = quantidade de tarefas realizadas * 100 / quantidade de tarefas solicitadas Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa 44

44 Ensaios de Interação Resultados Qualitativos
Confirmação de diagnóstico preliminar de problemas na interface Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas 44

45 MONTAGEM DE ENSAIO DE INTERAÇÃO
DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA Reconhecimento do usuário Coleta de informações sobre o usuário e sua tarefa Definição de tarefas para o usuário REALIZAÇÃO DOS ENSAIOS Coleta e análise dos dados Realização dos ensaios Diagnóstico e relatório final Preparação dos ensaios Ajuste nos scripts e cenários ANÁLISE PRELIMINAR Reconhecimento do software Pré-diagnóstico Ergonômico Obtenção da amostra de usuários

46 Compromisso de uma técnica de avaliação
Efetividade –quantidade de problemas sérios) identificados - heurísticas e os ensaios de interação; Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas; Eficiência - os ensaios de interação; Produtividade – relação eficência/custo; Sistematização – repetitividade e reproduzibilidade - Checklists. Facilidade de aplicação –checklists; Poder de persuasão - ensaios de interação e as avaliações heurísticas Poder de desobstrução.

47 Projeto de uma avaliação
análise : identificação dos requisitos da avaliação; projeto preliminar : seleção das técnicas aplicáveis; projeto detalhado : configuração das técnicas; implementação : realização da avaliação; documentação : elaboração do relatório; validação : confronto entre os resultados esperados e obtidos com a avaliação.