Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos: Um Estudo de Caso com a HybridDesk Marcus Franco Costa de Alencar 21 de Agosto de 2009 Orientadora: Profa. Simone Barbosa Co-orientador: Prof. Alberto Raposo

Sumário Introdução Ambiente de Avaliação - HybridDesk Planejamento da Avaliação Resultados da Avaliação Conclusão e Trabalhos Futuros Introdução Ambiente de Avaliação - HybridDesk Planejamento da Avaliação Resultados da Avaliação Conclusão e Trabalhos Futuros

Introdução Importância do Design e da Avaliação da Interação Avaliação de Comunicabilidade da HybridDesk Avaliação de Usabilidade da HybridDesk Identificação de Questões de IHC Sugestões de Melhorias para a HybridDesk Importância do Design e da Avaliação da Interação Avaliação de Comunicabilidade da HybridDesk Avaliação de Usabilidade da HybridDesk Identificação de Questões de IHC Sugestões de Melhorias para a HybridDesk

Ambiente de Avaliação – HybridDesk VR-Nav - Navegação e Seleção Mini-CAVE Wand Rastreada Óculos Estéreo Rastreado VR-Nav - Navegação e Seleção Mini-CAVE Wand Rastreada Óculos Estéreo Rastreado WIMP - Anotação LCD Teclado Mouse WIMP - Anotação LCD Teclado Mouse VR-Manip - Manipulação LCD Wand Rastreada Óculos Estéreo Rastreado VR-Manip - Manipulação LCD Wand Rastreada Óculos Estéreo Rastreado Fotos de Felipe Carvalho (2009)

Transições dos Dispositivos de Interação [Carvalho 2009] Ambiente de Avaliação – HybridDesk

Planejamento da Avaliação - Etapas

de Souza 2005 Salgado 2007 de Souza & Leitão 2009 Prates et. al Nielsen 1993 Gabbard et. al Bowman et. al Sharp et. al. 2007

Planejamento da Avaliação – Preparação Carvalho 2009

Planejamento da Avaliação – Preparação Gabbard 1997

Planejamento da Avaliação – Preparação Bowman et. al Carvalho 2009

Planejamento da Avaliação – Preparação 6 participantes 3 participantes 2 avaliadores 1 avaliador

Planejamento da Avaliação – Execução da Observação Ericsson & Simon 1993 Tullis & Albert 2008 Carvalho 2009 Ericsson & Simon 1993 Tullis & Albert 2008 Carvalho 2009

Tullis & Albert 2008 Sharp et. al Carvalho 2009 Planejamento da Avaliação – Execução da Observação

IPQ (igroup) Gentil 2008 Carvalho 2009 Planejamento da Avaliação – Execução da Observação

Resultados da Avaliação - MAC Etiquetagem da Interação

Resultados da Avaliação - MAC Interpretação dos Dados – Tarefas de Interação [Bowman et. al. 2005] Ambiente VR- Nav VR-Manip WIMP Todos

Resultados da Avaliação - MAC Interpretação dos Dados – Problemas de IHC

Resultados da Avaliação Botão A - Manipulação Libera Icone 3D Transição para WIMP Botão A - Manipulação Libera Icone 3D Transição para WIMP Questões com Dispositivo de Entrada Botão A - Navegação Ativa Ray-casting Desativa Ray-casting Seleciona Objeto (Transição para Manipulação) Botão A - Navegação Ativa Ray-casting Desativa Ray-casting Seleciona Objeto (Transição para Manipulação)

Resultados da Avaliação Botão Home - Navegação Retorna Posição Inicial Botão Home - Navegação Retorna Posição Inicial Botão Home - Manipulação Transição para Navegação Botão Home - Manipulação Transição para Navegação Questões com Dispositivo de Entrada

“Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” Resultados da Avaliação – MAC Análise do Perfil Semiótico

“Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” Resultados da Avaliação – MAC Análise do Perfil Semiótico

“Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” “... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.” Resultados da Avaliação – MAC Análise do Perfil Semiótico

“Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...” “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.” “... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.” “...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.” Resultados da Avaliação – MAC Análise do Perfil Semiótico

Resultados da Avaliação – Questionário Usabilidade

Resultados da Avaliação – Questionário IPQ

Resultados da Avaliação – Comparação Métodos

Heur. - Avaliação Heurística – “Conhecimento de Especialistas” MAC – Avaliação de Comunicabilidade - “Intenção do Designer” Obs.TA - Observação de Uso com Talk-Aloud – “Observação do Usuário pelo Avaliador” Qu./Ent. - Questionário e Entrevista Pós-Uso– “Percepção do Usuário” Heur. - Avaliação Heurística – “Conhecimento de Especialistas” MAC – Avaliação de Comunicabilidade - “Intenção do Designer” Obs.TA - Observação de Uso com Talk-Aloud – “Observação do Usuário pelo Avaliador” Qu./Ent. - Questionário e Entrevista Pós-Uso– “Percepção do Usuário”

Resultados da Avaliação – Melhorias HybridDesk

Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Resultados da Avaliação

Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Resultados da Avaliação

Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Resultados da Avaliação

Interação com Múltiplos Designers Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Resultados da Avaliação

Interação com Múltiplos Designers Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Resultados da Avaliação

Interação com Múltiplos Designers Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Interação com a HybridDesk: Designer do Sistema Gerente: “... instruções... em arquivo anexado acima da escada à direita do Heliporto.” Participante: “… direita ou esquerda? Depende de por onde estou olhando..” Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.” Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..” Interação com a Anotação: “Designer da Tarefa” (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Interação com a HybridDesk: Designer do Sistema Resultados da Avaliação

HybriDesk bem avaliada do ponto de vista conceitual; Indícios de que 3 ambientes de interação distintos, mais adequados para cada tarefa, foi compreendido e aprovado pela maior parte dos participantes; Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um foco muito melhor, eu tinha esquecido disso…” (Manipulação em VR-Manip versus VR-Nav); Participante: “… agora me lembrei que eu poderia fazer isso.” (Manipulação em VR-Manip versus VR-Nav); Resultados muito positivos do WIMP no Questionário (4,67 de 5); Satisfação com o Sistema no Questinário (4 de 5) e Entrevista. HybriDesk bem avaliada do ponto de vista conceitual; Indícios de que 3 ambientes de interação distintos, mais adequados para cada tarefa, foi compreendido e aprovado pela maior parte dos participantes; Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um foco muito melhor, eu tinha esquecido disso…” (Manipulação em VR-Manip versus VR-Nav); Participante: “… agora me lembrei que eu poderia fazer isso.” (Manipulação em VR-Manip versus VR-Nav); Resultados muito positivos do WIMP no Questionário (4,67 de 5); Satisfação com o Sistema no Questinário (4 de 5) e Entrevista. Resultados da Avaliação Evidências Positivas

Conclusão e Trabalhos Futuros Cumprimento dos Objetivos Sugestões de Trabalhos Futuros Implementar Melhorias na HybridDesk e Reavaliar Produzir Heurísticas para uma CAVE Avaliação Quantitativa de Desempenho da HybridDesk Estudar Transições entre Ambientes Virtuais (AVs) Estudar Fatores que Influenciam Senso de Presença Estudar Integração das Tarefas 1D e 2D em AVs Estudar Questão de Múltiplos Designers Reavaliar as Etiquetas de Comunicabilidade para AVs Estudar o Uso da Engenharia Semiótica para Navegação (Mapas) Cumprimento dos Objetivos Sugestões de Trabalhos Futuros Implementar Melhorias na HybridDesk e Reavaliar Produzir Heurísticas para uma CAVE Avaliação Quantitativa de Desempenho da HybridDesk Estudar Transições entre Ambientes Virtuais (AVs) Estudar Fatores que Influenciam Senso de Presença Estudar Integração das Tarefas 1D e 2D em AVs Estudar Questão de Múltiplos Designers Reavaliar as Etiquetas de Comunicabilidade para AVs Estudar o Uso da Engenharia Semiótica para Navegação (Mapas)

Obrigado Marcus Franco Costa de Alencar 21 de Agosto de

Issues de Usabilidade Exemplos [Tullis & Albert 2008] Qualquer coisa que impeça a finalização da tarefa; Qualquer coisa que leve o usuário a um caminho errado; Qualquer coisa que crie algum nível de confusão; Qualquer coisa que produza um erro; Não ver alguma coisa que deveria ser vista; Assumir que alguma coisa está correta quando não está; Assumir que uma tarefa está completa quando não está; Executar a ação errada; Interpretar errado alguma parte do conteúdo; Não entender a navegação. Problemas Ergonômicos (Nível de Conforto, Satisfação Subjetiva) Exemplos [Tullis & Albert 2008] Qualquer coisa que impeça a finalização da tarefa; Qualquer coisa que leve o usuário a um caminho errado; Qualquer coisa que crie algum nível de confusão; Qualquer coisa que produza um erro; Não ver alguma coisa que deveria ser vista; Assumir que alguma coisa está correta quando não está; Assumir que uma tarefa está completa quando não está; Executar a ação errada; Interpretar errado alguma parte do conteúdo; Não entender a navegação. Problemas Ergonômicos (Nível de Conforto, Satisfação Subjetiva)

Tarefas de Interação no Cenário de Uso 1 TI-1: Navegação no cenário 3D até encontrar a instrução (VR-Nav); TI-2: Seleção do ícone 3D com a instrução (VR-Nav); TI-3: Leitura da anotação com a instrução (WIMP); TI-4: Navegação no cenário 3D até encontrar um dos objetos procurados (VR-Nav); TI-5: Seleção do objeto primeiro procurado (VR-Nav); TI-6: Manipulação do primeiro objeto procurado para verificação da modelagem (VR-Manip); TI-7: Criação da anotação com o parecer sobre o primeiro objeto (WIMP); TI-8: Manipulação do ícone da anotação para anexação ao primeiro objeto (VR-Manip); TI-9: Manipulação do primeiro objeto (VR-Manip); TI-10: Retorno ao ambiente de Navegação e procura pelo segundo objeto (VR-Nav); TI-1: Navegação no cenário 3D até encontrar a instrução (VR-Nav); TI-2: Seleção do ícone 3D com a instrução (VR-Nav); TI-3: Leitura da anotação com a instrução (WIMP); TI-4: Navegação no cenário 3D até encontrar um dos objetos procurados (VR-Nav); TI-5: Seleção do objeto primeiro procurado (VR-Nav); TI-6: Manipulação do primeiro objeto procurado para verificação da modelagem (VR-Manip); TI-7: Criação da anotação com o parecer sobre o primeiro objeto (WIMP); TI-8: Manipulação do ícone da anotação para anexação ao primeiro objeto (VR-Manip); TI-9: Manipulação do primeiro objeto (VR-Manip); TI-10: Retorno ao ambiente de Navegação e procura pelo segundo objeto (VR-Nav);

Diferença entre Imersão e Presença Imersão Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003]; A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007]. Presença Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003]; Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007]. Imersão Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003]; A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007]. Presença Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003]; Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007].

Preparação da Avaliação Perfil dos Participantes

Ambiente de Avaliação – HybridDesk Foto de Felipe Carvalho (2009)

Ambiente de Avaliação – HybridDesk Foto de Felipe Carvalho (2009)

Trabalhos Relacionados Método de Avaliação de Comunicabilidade (MAC) Engenharia Semiótica [de Souza 2005] Avaliação CommEST [Salgado 2007] Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000] Avaliação Audacity [de Souza & Leitão 2009] Métodos de Avaliação de Usabilidade Usability Engineering [Nielsen 1993] Interaction Design [Sharp et. al. 2007] 3D User Interfaces [Bowman et. al. 2005] Measuring the User Experience [Tullis & Albert 2008] VE Evaluation Methods [Bowman et. al. 2002] User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999] Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993] Heurísticas de Usabilidade em AVs [Gabbard 1997] Avaliação de AVs no Second Life [Gentil 2008, ] Avaliação HybridDesk [Carvalho 2009] Método de Avaliação de Comunicabilidade (MAC) Engenharia Semiótica [de Souza 2005] Avaliação CommEST [Salgado 2007] Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000] Avaliação Audacity [de Souza & Leitão 2009] Métodos de Avaliação de Usabilidade Usability Engineering [Nielsen 1993] Interaction Design [Sharp et. al. 2007] 3D User Interfaces [Bowman et. al. 2005] Measuring the User Experience [Tullis & Albert 2008] VE Evaluation Methods [Bowman et. al. 2002] User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999] Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993] Heurísticas de Usabilidade em AVs [Gabbard 1997] Avaliação de AVs no Second Life [Gentil 2008, ] Avaliação HybridDesk [Carvalho 2009]

Trabalhos Relacionados Taxonomia para Heurísticas [Gabbard 1997]