MESTRADO EM REDES DE COMPUTADORES

Apresentação em tema: "MESTRADO EM REDES DE COMPUTADORES"— Transcrição da apresentação:

1 MESTRADO EM REDES DE COMPUTADORES
“Utilizando estudos observacionais para testar e aperfeiçoar um pacote de laboratório para avaliação de ferramentas de mineração visual de dados” Aluna: Josemeire Machado Dias Orientação: Prof. Dr. Manoel Mendonça Co-orientação: Profª MSc. Daniela Cruzes

2 MOTIVAÇÃO PARA O TRABALHO
Muitas ferramentas de MVD desenvolvidas, mas sem uso; Ferramentas precisam ser avaliadas para serem melhoradas e comercializadas; Grande número de critérios definidos para avaliação de ferramentas; A definição de critérios não é suficiente para garantir a qualidade da avaliação das ferramentas; Nosso interesse na área de estudos empíricos.

3 FERRAMENTAS DE MINERAÇÃO VISUAL DE DADOS
Modelo de Referência para Visualização. (CARD et al. 1999)

4 PROCESSO PARA AVALIAR FERRAMENTAS DE MVD

5 PROCESSO PARA AVALIAÇÃO DE FERRAMENTAS DE MVD

6 A TÉCNICA DE AVALIAÇÃO DE FERRAMENTAS DE MVD CRIADA NESTE PROJETO
É baseada em inspeção e em perspectivas; perspectivas definidas: Especialista na análise de dados; Especialista nos dados; Especialista em interfaces; A utilização da técnica é guiada por cenários; Utiliza critérios para avaliação.

7 CRITÉRIOS UTILIZADOS NA TÉCNICA
Critérios definidos por Paulo Roberto Luzzardi Tese de doutorado da UFRGS / Informática Foco dos critérios contemplam a representação visual estática contemplam os mecanismos de interação

8 CRITÉRIOS PARA A REPRESENTAÇÃO VISUAL

9 CRITÉRIOS PARA OS MECANISMOS DE INTERAÇÃO

10 FLUXO DE UTILIZAÇÃO DA TÉCNICA

11 CRIAÇÃO DO EXPERIMENTO PARA TESTAR A TÉCNICA
Objetivos do experimento Analisar a técnica criada (baseada em perspectivas) e a baseada em heurísticas para avaliá-las em relação à sua efetividade na detecção de problemas no contexto da inspeção do ponto de vista do especialista na análise de dados, especialista em interfaces e especialista nos dados.

12 O PROCESSO EXPERIMENTAL TRADICIONAL
Baseado no modelo de Travassos (2002)

13 A PROPOSTA DE INSERÇÃO DA FASE DE TESTE NO PROCESSO EXPERIMENTAL

14 DETALHAMENTO DA FASE DE TESTE

15 CRIAÇÃO DO PACOTE EXPERIMENTAL
O pacote foi criado a partir de estudos observacionais Foram realizados 4 estudos observacionais e 1 Piloto 1º Estudo = 3 Participantes Alunos de Mestrado da UNIFACS 2º Estudo = 3 Participantes Alunos do Mestrado em Redes da UNIFACS 3º Estudo = 5 Participantes Professores da UNIFACS 4º Estudo = 22 Participantes Curta Duração da UNIFACS 1º Piloto = 12 Participantes Mestrado e Doutorado da USP – São Carlos

16 Evolução dos estudos observacionais

17 1º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)
Principais problemas O conjunto de dados era muito grande / máquinas lentas; O treinamento e a aplicação da técnica por ser realizado em um único dia deixava o participante confuso e cansado; Os formulários, por serem impressos diretamente da web não traduziam segurança em relação a verdadeira resposta do participante; A falta de uma visão geral da ferramenta; Dificuldade de manuseio dos formulários. Ações tomadas Conjunto de dados reduzidos; Treinamento em dois dias; Formulários transferidos para o Word.

18 2º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)
Principais problemas Dificuldade com a linguagem complexa; Ausência de exemplos mais próximos da realidade. Ações Tomadas Inserção de alguns exemplos da web.

19 3º ESTUDO = 5 PARTICIPANTES (Professores da Unifacs)
Principais problemas Confusão no preenchimento dos formulários; Participantes ficaram impacientes com a ferramenta; Falso entendimento das explicações; Tabela de critérios se mostrou confusa; Treinamento e avaliação realizados no mesmo dia. Ações tomadas Estabelecimento de ordem de preenchimento dos formulários; Melhoria da didática para reconhecer se o treinamento foi ou não entendido; Re-organização da tabela de critérios.

20 4º ESTUDO = 22 PARTICIPANTES (Alunos do Seqüencial)
Desafios Participantes com perfis desconhecidos dos condutores; Necessidade de desenvolvimento de métrica de enquadramento; Principais problemas desta observação Participantes não sabiam responder aos formulários por causa dos termos técnicos empregados; Ainda houve reclamação em relação à linguagem complexa; A participação foi motivada por promessa de certificados; A ferramenta Treeminer possui grande número de problemas de usabilidade e funcionalidade. Ações tomadas Inserção de definições para as perguntas; Troca da ferramenta Treeminer por Treemap.

21 1º Piloto = 12 PARTICIPANTES (USP – São Carlos)
Alguns detalhes Divisão ideal do número de participantes em cada técnica; Treinamento em dois dias; Ferramenta utilizada foi a Treemap. Principais problemas Dificuldade com a complexidade do material ainda persiste, mas em menor grau. Ações a serem tomadas Serão descritas em trabalhos futuros.

22 Resultados do Estudo Piloto I
Análise Global

23 Resultados do Estudo Piloto II
Análise Detalhada

24 CONSIDERAÇÕES FINAIS Principais contribuições deste trabalho
Criação da técnica para avaliação de ferramentas de MVD baseada em três perspectivas; Criação do Pacote de Laboratório e seu refinamento através dos Estudos de Caso; A inserção da fase de teste no processo experimental. Artigo completo publicado no quinto Congresso Internacional de Engenharia de Software Experimental. Outras contribuições foram: Métrica para enquadramento dos participantes nas perspectivas de avaliação; Um conjunto de recomendações para avaliação de ferramentas de MVD.

25 TRABALHOS FUTUROS Evoluir a técnica;
Evoluir o processo de teste no sentido de melhorar a sua sistemática de execução; Replicar os estudos feitos neste trabalho; Refinar os procedimentos de utilização do pacote para que o experimento possa ser replicado por outros pesquisadores; Estudar a aplicação da técnica para outros tipos de dados que não sejam hierárquicos; Avaliar outras ferramentas de MVD usando as técnicas e critérios utilizados neste trabalho.

26 Aluna Josemeire Machado Dias meire@unifacs.br
Orientação Prof. Dr. Manoel Gomes de Mendonça Neto Co-orientação Profª MSc. Daniela Soares Cruzes