Introdução à Avaliação de Interfaces Autarquia Educacional do Vale do São Francisco – AEVSF Faculdade de Ciências Aplicadas e Sociais de Petrolina - FACAPE Curso de Ciência da Computação Introdução à Avaliação de Interfaces Profa. Cynara Carvalho cynaracarvalho@yahoo.com.br Interface Humano Máquina

Avaliação de Interfaces Processo sistemático de coleta de dados responsável por nos informar o modo como um determinado usuário ou grupo de usuários deve utilizar um produto em uma determinada tarefa; Faz parte do ciclo de desenvolvimento: design – avaliação – redesign; O design de interação exige que se saiba avaliar tipos diferentes de sistemas em estágios diferentes de desenvolvimento; Desenvolver sistemas neste processo acaba sendo mais barato do que consertar problemas depois do sistema entregue. Interface Humano Máquina

Avaliação de Interfaces O projeto e o design de sistemas são inerentemente criativos e imprevisíveis: São processos, não-hierárquicos, transformacionais e envolvem a descoberta de novos objetivos. … mas em todo domínio criativo pode haver disciplina, técnicas refinadas, métodos corretos e medidas de sucesso Os projetos de desenvolvimento também envolvem métodos de avaliação e usabilidade Neste sentido, engenheiros de usabilidade e arquitetos de interface estão ganhando experiência em gerenciar as mudanças organizacionais, o que repercute em $. Interface Humano Máquina

Avaliação de Interfaces Usuários preferem sistemas que sejam fáceis de aprender e utilizar, assim com eficientes, eficazes e seguros (Preece et. al., 2007); Saber o que avaliar, a sua importância e quando avaliar são, portanto, tarefas fundamentais para designers de interação. O Quê? Por que? Quando? Interface Humano Máquina

O quê, por que e quando? Grande variedade de produtos interativos com muitas características que necessitam ser avaliadas; Forte tendência a se observar e avaliar como as pessoas interagem com o sistema no trabalho, no lar e outros ambientes, embora a avaliação em laboratório seja bastante satisfatória; A avaliação é necessária para a certificação de que os usuários podem vir a utilizar o produto e apreciá-lo; Os usuários procuram cada vez mais produtos usáveis (NN Group); Interface Humano Máquina

O quê, por que e quando? Tognazinni, outro bem sucedido consultor de usabilidade, afima: “ O design interativo, com seu ciclo repetitivo de design e teste, é a única metodologia validada existente que produzirá resultados bem-sucedidos com consistência. (www.asktog.com). Ele aponta 05 razões para se investir em testes com usuários: Problemas são consertados antes do produto ser lançado; A equipe pode se concentrar em problemas reais e não imaginários; Os engenheiros codificam, em vez de debater; O tempo para que o produto entre no mercado é menor; Após a entrega da primeira versão, o produto terá um design consistente, que poderá ser vendido sem que se tenha de se esperar a versão 1.1. ou 2.0. Interface Humano Máquina

O quê, por que e quando? Correções em projetos em desenvolvimento; Revisões em produtos acabados; Definir a aceitação ou não, de projetos encomendados; Comparar o desempenho de softwares interativos. Constatar, observar e registrar problemas; Calcular métricas objetivas para eficácia, eficiência e produtividade; Diagnosticar as falhas do projeto que provavelmente atrapalhem a interação; Prever dificuldades de aprendizado na operação do sistema; Prever os tempos de execução de tarefas; Conhecer a opinião do usuário; Sugerir as ações de re-projeto. Interface Humano Máquina

O quê, por que e quando? O produto que está sendo desenvolvido pode consistir em algo totalmente novo ou em uma atualização de algo já existente; Em caso de produto novo, as pesquisas de mercado são necessárias e os designers podem fornecer suporte a esse processo, a partir de maquetes dos produtos, para extrair reações dos usuários em potencial; Muitas das técnicas de elicitação de requisitos são usadas na coleta de opiniões sobre os produtos ( prototipação, entrevistas etc.); O objetivo é saber se o design preenche as necessidades dos usuários e se estes o apreciam. Interface Humano Máquina

Avaliação de usabilidade Porque a avaliação da usabilidade é tão importante? Intuições de designers e desenvolvedores não estão sempre corretas Terminologia de designers e desenvolvedores nem sempre significa a mesma do usuário Pessoas diferem e não há um usuário médio Princípios de usabilidade e guidelines não são suficientes Feedback informal é inadequado para avaliações do produto Tempo, dinheiro e recursos gastos nas avaliações de usabilidade valem a pena Produtos construídos em pedaços sempre têm inconsistências de alto nível Problemas encontrados mais tarde no software são mais difíceis e caros de consertar Problemas consertados no processo de desenvolvimento reduzem os custos mais tarde Avaliações de usabilidade podem dar vantagens sobre produtos competitivos Interface Humano Máquina

Avaliação de usabilidade A ISO define usabilidade como “a efetividade, eficiência e satisfação com a qual um conjunto específico de usuários pode alcançar um conjunto específico de tarefas em um ambiente particular” Os métodos de avaliação da interface e os testes de usabilidade são muitos e seguem orientações teóricas diversas Quando se deve parar de fazer um teste? Se a sessão não produziu feedback do usuário em novos problemas. Interface Humano Máquina

Definições importantes Avaliações quantitativas – Envolvem somente medidas; Avaliações qualitativas – Envolvem descrições e relatos; Avaliações objetivas – São baseadas em técnicas que utilizam medições quantitativas, em vez das opiniões dos usuários ou especialistas; Avaliações subjetivas – São baseadas em opiniões e relatos; Estudos de Laboratório – Ocorrem em ambientes controlados e preparados; Estudos de campo ou naturais – Estão situados no contexto do mundo real, no qual o sistema é ou será utilizado. Interface Humano Máquina

Paradigmas de avaliação Avaliação “rápida e suja” – obtenção de feedback informal dos usuários e consultores, para confirmar que as idéias dos designers estão de acordo com as necessidades. Podem ser realizadas em qualquer estágio do projeto, com ênfase na contribuição rápida e não em descobertas documentadas; O termo rápida e suja é em razão de ter de ser realizada em curto espaço de tempo; Bastante usada no web design. Interface Humano Máquina

Paradigmas de avaliação Testes de usabilidade – envolvem avaliar o desempenho dos usuários típicos na realização de tarefas cuidadosamente preparadas. O desempenho é avaliado no que diz respeito ao número de erros e ao tempo para completar a tarefa; Enquanto realizam as tarefas, os usuários são observados e filmados e suas interações são registradas por meio de softwares (cálculo do tempo e esclarecimentos posteriores); Questionários e entrevistas também são usados para elicitar opiniões dos usuários; Os testes são controlados pelo avaliador. Não há comunicação com terceiros. Todas as ações são registradas. Interface Humano Máquina

Paradigmas de avaliação Estudos de Campo – Realizados em ambientes reais com o objetivo de aumentar o entendimento do que os usuários fazem naturalmente e de como a tecnologia causa impacto nessas atividades; Usados para (1) ajudar a identificar oportunidades de uso de novas tecnologias, (2) determinar requisitos para o design, (3) facilitar a introdução de um tecnologia e (4) avaliar a tecnologia; Empregam técnicas qualitativas como entrevistas, observação participativa e etnografia. Interface Humano Máquina

Paradigmas de avaliação Avaliação preditiva – Os especialistas aplicam seu conhecimento a respeito de usuários típicos, guiados por heurísticas, visando prever problemas de usabilidade. Os usuários não precisam estar presentes, o que torna o processo atrativo e barato; Novas heurísticas são necessárias para avaliarem diferentes classes de produtos interativos; Interface Humano Máquina

Características dos diferentes paradigmas de avaliação Rápida e suja Testes Usabilidade Estudos de campo Avaliação preditiva Papel dos usuários Comportamento natural Realizar um conjunto de tarefas Não são envolvidos Quem controla Avaliadores (mínimo) Avaliadores (máximo) Avaliadores e usuários Avaliadores experientes Local Ambiente natural/laborat. Laboratório Ambiente natural Orientada a Laboratório, mas nas instal. Usuários Quando é usado A qualquer momento Com um protótipo ou produto Início do design, verificar necess. Revisões especialistas, a qualquer momento Tipos de dados Geralmente qualitativos e informais Quantitativos Qualitativos, com esboços, cenários etc. Lista de problemas, dados quantitativos Retorno para o design Esboços, citações, relatórios Relatório de desempenhos, de erros etc. Descrições, citações, logs. Problemas e sugestões, métricas Filosofia Abordagem centrada no usuário, prática. Abordagem aplicada, eng. Usabilidade. Observação objetiva ou etnográfica Heurísticas práticas e experiências dos profissionais Interface Humano Máquina

Técnicas de avaliação Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes: Observação de usuários Opinião de usuários Opinião de especialistas Teste de desempenho dos usuários Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface. Interface Humano Máquina

Técnicas de avaliação - Observação de usuários Ajudam a identificar necessidades, levando a novos tipos de produtos a avaliar protótipos; Anotações, áudio, vídeo e logs de interação são formas usuais da técnica; Desafios: como observar sem atrapalhar as pessoas e como analisar o grande volume de dados coletados; Interface Humano Máquina

Técnicas de avaliação – Opinião dos usuários Perguntar o que os usuários pensam a respeito do produto – se realiza o que querem; se apreciam; se é atraente; se enfrentaram problemas ao utilizá-lo; Entrevistas e questionários são as principais técnicas para fazê-la; Atingem diferentes faixas de público. Interface Humano Máquina

Técnicas de avaliação – Opinião dos especialistas Inspiradas nas inspeções e revisões de software; Guiadas por heurísticas (conhecimentos ou definições prévias), onde os especialistas desempenham tarefas como se fossem usuários típicos, identificando problemas; Abordagem mais rápida e relativamente mais barata; Os especialistas sugerem soluções para os problemas; Interface Humano Máquina

Técnicas de avaliação – Testes com usuários Ambientes controlados para que o desempenho possa ser analisado; Tarefas típicas e bem definidas; Mede-se o tempo para realizar uma tarefa, o número de erros cometidos e o caminho mais comum na navegação do uso do produto. Interface Humano Máquina

Técnicas de avaliação – Modelagem do desempenho das tarefas Sem construir protótipos elaborados, tenta-se prever a eficiência e os problemas associados ao design, ainda em estágio preliminar; Bem aplicadas a sistemas com funcionalidades limitadas; Modelos mais usados: KLM (Keystroke Level Model) Predizer o tempo de interações físicas GOMS (Goals, Operators, Methods & Selection rules) Predizer o tempo total da interação (física e cognitiva) para atingir objetivos. Interface Humano Máquina

Relação entre paradigmas e técnicas de avaliação Rápida e suja Testes Usabilidade Estudos de campo Avaliação preditiva Observar os usuários Observar o comportamento do usuário nos ambientes naturais Logs de vídeo e interação, para idt erros, rotas de uso ou calcular tempo de desempenho Imprescindível para o estudo de campo N/A Perguntar aos usuários Discussão individuais ou em grupo de foco. Questionários de satisfação de usuários para coletar opiniões O avaliador pode entrevistar ou discutir o que vê com os part. Perguntar aos especialistas Fornecer críticas da usabilidade de um protótipo Os espec. usam heurísticas logo no início do design, para prever eficácia da interface. Testes com usuários Testar usuários típicos na realização de tarefas típicas, em laboratório. Modelar o desempenho das tarefas Modelos utilizados para prever a eficácia ou comparar tempos. Interface Humano Máquina

Preparando a avaliação Avaliações bem planejadas são dirigidas por metas claras e perguntas adequadas. Check list para auxílio de avaliadores: Determinar as metas que a avaliação irá abordar. Explorar as questões específicas a serem respondidas. Escolher o paradigma de avaliação e as técnicas de respostas para as perguntas. Identificar questões práticas que devem ser abordadas, como a seleção dos participantes. Decidir como lidar com questões éticas. Avaliar, interpretar e apresentar os dados. Interface Humano Máquina