MESTRADO EM REDES DE COMPUTADORES “Utilizando estudos observacionais para testar e aperfeiçoar um pacote de laboratório para avaliação de ferramentas de mineração visual de dados” Aluna: Josemeire Machado Dias Orientação: Prof. Dr. Manoel Mendonça Co-orientação: Profª MSc. Daniela Cruzes

MOTIVAÇÃO PARA O TRABALHO Muitas ferramentas de MVD desenvolvidas, mas sem uso; Ferramentas precisam ser avaliadas para serem melhoradas e comercializadas; Grande número de critérios definidos para avaliação de ferramentas; A definição de critérios não é suficiente para garantir a qualidade da avaliação das ferramentas; Nosso interesse na área de estudos empíricos.

FERRAMENTAS DE MINERAÇÃO VISUAL DE DADOS Modelo de Referência para Visualização. (CARD et al. 1999)

PROCESSO PARA AVALIAR FERRAMENTAS DE MVD

PROCESSO PARA AVALIAÇÃO DE FERRAMENTAS DE MVD

A TÉCNICA DE AVALIAÇÃO DE FERRAMENTAS DE MVD CRIADA NESTE PROJETO É baseada em inspeção e em perspectivas; perspectivas definidas: Especialista na análise de dados; Especialista nos dados; Especialista em interfaces; A utilização da técnica é guiada por cenários; Utiliza critérios para avaliação.

CRITÉRIOS UTILIZADOS NA TÉCNICA Critérios definidos por Paulo Roberto Luzzardi Tese de doutorado da UFRGS / Informática Foco dos critérios contemplam a representação visual estática contemplam os mecanismos de interação

CRITÉRIOS PARA A REPRESENTAÇÃO VISUAL

CRITÉRIOS PARA OS MECANISMOS DE INTERAÇÃO

FLUXO DE UTILIZAÇÃO DA TÉCNICA

CRIAÇÃO DO EXPERIMENTO PARA TESTAR A TÉCNICA Objetivos do experimento Analisar a técnica criada (baseada em perspectivas) e a baseada em heurísticas para avaliá-las em relação à sua efetividade na detecção de problemas no contexto da inspeção do ponto de vista do especialista na análise de dados, especialista em interfaces e especialista nos dados.

O PROCESSO EXPERIMENTAL TRADICIONAL Baseado no modelo de Travassos (2002)

A PROPOSTA DE INSERÇÃO DA FASE DE TESTE NO PROCESSO EXPERIMENTAL

DETALHAMENTO DA FASE DE TESTE

CRIAÇÃO DO PACOTE EXPERIMENTAL O pacote foi criado a partir de estudos observacionais Foram realizados 4 estudos observacionais e 1 Piloto 1º Estudo = 3 Participantes Alunos de Mestrado da UNIFACS 2º Estudo = 3 Participantes Alunos do Mestrado em Redes da UNIFACS 3º Estudo = 5 Participantes Professores da UNIFACS 4º Estudo = 22 Participantes Curta Duração da UNIFACS 1º Piloto = 12 Participantes Mestrado e Doutorado da USP – São Carlos

Evolução dos estudos observacionais

1º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado) Principais problemas O conjunto de dados era muito grande / máquinas lentas; O treinamento e a aplicação da técnica por ser realizado em um único dia deixava o participante confuso e cansado; Os formulários, por serem impressos diretamente da web não traduziam segurança em relação a verdadeira resposta do participante; A falta de uma visão geral da ferramenta; Dificuldade de manuseio dos formulários. Ações tomadas Conjunto de dados reduzidos; Treinamento em dois dias; Formulários transferidos para o Word.

2º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado) Principais problemas Dificuldade com a linguagem complexa; Ausência de exemplos mais próximos da realidade. Ações Tomadas Inserção de alguns exemplos da web.

3º ESTUDO = 5 PARTICIPANTES (Professores da Unifacs) Principais problemas Confusão no preenchimento dos formulários; Participantes ficaram impacientes com a ferramenta; Falso entendimento das explicações; Tabela de critérios se mostrou confusa; Treinamento e avaliação realizados no mesmo dia. Ações tomadas Estabelecimento de ordem de preenchimento dos formulários; Melhoria da didática para reconhecer se o treinamento foi ou não entendido; Re-organização da tabela de critérios.

4º ESTUDO = 22 PARTICIPANTES (Alunos do Seqüencial) Desafios Participantes com perfis desconhecidos dos condutores; Necessidade de desenvolvimento de métrica de enquadramento; Principais problemas desta observação Participantes não sabiam responder aos formulários por causa dos termos técnicos empregados; Ainda houve reclamação em relação à linguagem complexa; A participação foi motivada por promessa de certificados; A ferramenta Treeminer possui grande número de problemas de usabilidade e funcionalidade. Ações tomadas Inserção de definições para as perguntas; Troca da ferramenta Treeminer por Treemap.

1º Piloto = 12 PARTICIPANTES (USP – São Carlos) Alguns detalhes Divisão ideal do número de participantes em cada técnica; Treinamento em dois dias; Ferramenta utilizada foi a Treemap. Principais problemas Dificuldade com a complexidade do material ainda persiste, mas em menor grau. Ações a serem tomadas Serão descritas em trabalhos futuros.

Resultados do Estudo Piloto I Análise Global

Resultados do Estudo Piloto II Análise Detalhada

CONSIDERAÇÕES FINAIS Principais contribuições deste trabalho Criação da técnica para avaliação de ferramentas de MVD baseada em três perspectivas; Criação do Pacote de Laboratório e seu refinamento através dos Estudos de Caso; A inserção da fase de teste no processo experimental. Artigo completo publicado no quinto Congresso Internacional de Engenharia de Software Experimental. Outras contribuições foram: Métrica para enquadramento dos participantes nas perspectivas de avaliação; Um conjunto de recomendações para avaliação de ferramentas de MVD.

TRABALHOS FUTUROS Evoluir a técnica; Evoluir o processo de teste no sentido de melhorar a sua sistemática de execução; Replicar os estudos feitos neste trabalho; Refinar os procedimentos de utilização do pacote para que o experimento possa ser replicado por outros pesquisadores; Estudar a aplicação da técnica para outros tipos de dados que não sejam hierárquicos; Avaliar outras ferramentas de MVD usando as técnicas e critérios utilizados neste trabalho.

Aluna Josemeire Machado Dias meire@unifacs.br Orientação Prof. Dr. Manoel Gomes de Mendonça Neto mgmn@unifacs.br Co-orientação Profª MSc. Daniela Soares Cruzes daniela@unifacs.br