Um ambiente para avaliação

Objetivos Explicar conceitos e termos da avaliação Descrever paradigmas de avaliação e técnicas utilizadas no design de interação Discutir questões conceituais, práticas e éticas que devem ser consideradas quando planejamos uma avaliação Introduzir o framework DECIDE

Paradigma da avaliação Todo tipo de avaliação é dirigida implicitamente ou explicitamente por um conjunto de crenças freqüentemente baseadas na teoria. A associação dessas crenças e métodos é conhecido como paradigma da avaliação.

Estudando o usuário Estudar o usuário consiste em observar como estes se comportam em seus ambientes naturais ou em laboratórios, com tecnologias já utilizadas e com as novas tecnologias.

4 paradigmas de avaliação Método “rápido e sujo” testes de usabilidade estudos de campo avaliação predictiva

Avaliação “rápida e suja” Avaliação “rápida e suja” descreve a prática que os designers utilizam informalmente para obter um feedback dos usuários ou consultados para confirmar que as suas idéias estão convergentes com as expectativas e necessidades dos usuários. Avaliação “rápida e suja” é executada o tempo todo. A ênfase é a contribuição rápida para o processo de design ao invés de uma obtenção mais cuidadosa desses dados.

Teste de usabilidade Testes de usabilidade envolve registrar a performance do usuário na execução de tarefas típicas em um ambiente controlado. Observação de campo também pode ser utilizada. A performance dos usuários é observada, gravada em vídeo e gerado um “log”. Esses dados são utilizados para calcular os tempos, identificar erros, e tentar explicar porque os usuários executaram as tarefas de determinada forma. São utilizados questionários e entrevistas para obter o grau de satisfação do usuário.

Estudos de campo Estudos de campo são realizados no ambiente natural Os objetivos são entender como os usuários procedem naturalmente e que impacto a tecnologia tem sobre eles No design de produtos, o estude de campo pode ser utilizado para: - identificar oportunidades para novas tecnologias - determinar os requisitos de design - decidir a melhor maneira de introduzir uma nova tecnologia - avaliar a tecnologia em uso

Avaliação predictiva Especialistas utilizam os seus conhecimentos a respeito dos usuários típicos, geralmente guiados pela heurística, para predizer problemas de usabilidade. Um outro enfoque teórico baseado em modelos pode ser utilizado. O grande benefício desta avaliação é que não há necessidade do usuário estar presente. É relativamente rápido e de baixo custo.

Overview de técnicas Observando os usuários perguntando aos usuários a sua opinião obtendo a opinião dos especialistas testando a performance do usuário modelando a performance do usuário

DECIDE: Uma estrutura para guiar a avaliação Determine os objetivos da avaliação. Explore as questões específicas. Choose (escolha) as técnicas e paradigmas. Identify (identifique) as questões práticas. Decide (decida) como lidar com questões éticas. Evaluate (avalie), interprete e apresente os dados.

Determine os objetivos Quais são os objetivos gerais da avaliação? Quem precisa e por quê? Os objetivos determinam o melhor paradigma Alguns exemplos de objetivos: Identificar qual a melhor metáfora a ser utilizada. Verificar a consistência final de uma interface. Identificar como a tecnologia influi na execução de tarefas. Melhorar a usabilidade de um produto existente.

Explore the questions Todas as avaliações necessitam ter os seus objetivos bem determinados para não desperdiçarmos tempo em estudos mal definidos. Por exemplo, o objetivo de determinar quantos consumidores preferem comprar as suas passagens aéreas no balcão ao invés de adquiri-las pela Internet pode ser subdividida em subquestões: - Como é o comportamento dos novos consumidores? - Eles estão familiarizados com as questões de segurança na compra on line? - A interface de venda é muito pobre? Quais as perguntas que você faria para projetar esta interface para ser visualizada no celular?

Escolha as técnicas e paradigmas de avaliação Os paradigmas de avaliação tem forte influência sobre as técnicas a serem utilizadas, de como os dados serão analisados e apresentados. Por exemplo, estudos de campo não envolve testes ou modelagem.

Identifique questões práticas Por exemplo: selecione os usuários fique dentro do orçamento matenha o cronograma em dia encontre os avaliadores selecione o equipamento

Decida sobre questões éticas Crie um formulário de consentimento Os participantes devem ser informados: - quais os objetivos do estudo - o que será feito com as informações - privacidade dos dados pessoais - nome não será citado sem o consentimento - pode interromper a avaliação quando quiser - será tratado com muita atenção e polidez

Evaluate, interpret & present data How data is analyzed & presented depends on the paradigm and techniques used. The following also need to be considered: - Reliability: can the study be replicated? - Validity: is it measuring what you thought? - Biases: is the process creating biases? - Scope: can the findings be generalized? - Ecological validity: is the environment of the study influencing it - e.g. Hawthorn effect

Pilot studies A small trial run of the main study. The aim is to make sure your plan is viable. Pilot studies check: - that you can conduct the procedure - that interview scripts, questionnaires, experiments, etc. work appropriately It’s worth doing several to iron out problems before doing the main study. Ask colleagues if you can’t spare real users.

Key points An evaluation paradigm is an approach that is influenced by particular theories and philosophies. Five categories of techniques were identified: observing users, asking users, asking experts, user testing, modeling users. The DECIDE framework has six parts: - Determine the overall goals - Explore the questions that satisfy the goals - Choose the paradigm and techniques - Identify the practical issues - Decide on the ethical issues - Evaluate ways to analyze & present data Do a pilot study