VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA ENTRE DOCUMENTOS

Apresentação em tema: "VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA ENTRE DOCUMENTOS"— Transcrição da apresentação:

1 VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA ENTRE DOCUMENTOS
PUC-CAMPINAS Faculdade de Engenharia de Computação VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA ENTRE DOCUMENTOS Orientador / Co-Orientador : Prof. Dr. Carlos Miguel Tobar Toledo Presidente da Banca: Prof. Dr. Carlos Miguel Tobar Toledo 1º Avaliador: Prof. Dr. Ricardo de Freitas Aluno: Eduardo Rossit Paiossin Campinas 2008

2 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Conteúdo Introdução Problema Objetivo Técnicas de Visualização da Informação Busca Semântica Algoritmo de Desenho Metodologia Diagrama de Arquitetura Plano de Avaliação Complexidade Conclusão TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

3 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Introdução Enorme quantidade de dados; Do ponto de vista do usuário, importa a absorção e a assimilação dos dados (informações) disponibilizados; Concepção de estruturas de visualização da informação 1)A enorme quantidade de dados produzidos pelas empresas e pelos usuários de computadores espalhados pelo mundo inteiro toma proporções cada vez maiores todos os dias, principalmente em virtude da crescente capacidade dos dispositivos de armazenamento e do seu baixo custo. 2) Do ponto de vista do usuário, importa a absorção e a assimilação dos dados (informações) disponibilizados, de forma que o resultado de uma busca se traduza em conteúdos pertinentes ao campo semântico pesquisado (conjunto de palavras unidas pelo sentido). Para colaborar nesse processo, existem atualmente técnicas de visualização da informação que proporcionam melhor assimilação de conteúdo, como a descrita a seguir. 3) Segundo Dias e Carvalho (2007), a concepção de estruturas de visualização da informação em softwares é iniciada pela organização dos dados brutos em uma tabela de dados, chamada de entidade, a partir da qual se constrói uma estrutura visual a fim de representar as informações presentes na entidade, como: gráficos de barra, setores, diagramas, esquemas e mapas. Para tal, é realizada uma transformação dos atributos da entidade (tabela de dados) para formas gráficas espaciais representativas, de modo que se obtenha uma estrutura visual, uma imagem, que acione o sistema perceptivo do usuário. Para interagir com o software, o usuário pode manipular a estrutura visual de várias maneiras (transformações de visões), ou seja, criar as visões que lhe permitam observar as estruturas visuais por algum enfoque específico e tomar alguma decisão ou realizar alguma ação (tarefa). TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

4 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Problema Os sistemas de busca convencionais utilizam como critério de pesquisa palavras-chave e índices; A dificuldade em visualizar as informações recuperadas em uma busca de forma eficaz pode acarretar problemas ainda maiores aos usuários; Perda de tempo filtrando informações não relevantes; Informação escondida na massa de dados. A dificuldade em visualizar as informações recuperadas em uma busca de forma eficaz pode acarretar problemas ainda maiores aos usuários, entre eles a perda de tempo filtrando informações não relevantes e que não interessam para a pesquisa e, mais grave ainda, a perda da própria informação, que pode ficar escondida na massa de dados, de forma que o usuário não conseguirá obter o conteúdo desejado. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

5 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Objetivo O objetivo deste trabalho é obter resultados mais significativos que o sistema do Witerkosk (2006) apresenta para uma determinada pesquisa. A teoria sobre visualização da informação baseada em três dimensões (3D), proporciona melhorias significativas na visualização dos resultados; Combinada a buscas semânticas nos documentos. A teoria sobre visualização da informação, principalmente baseada em três dimensões (3D), proporciona melhorias significativas na visualização dos resultados, sobretudo quando combinada a buscas semânticas nos documentos. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

6 Visualização da Informação
A técnica Overview-Detail (Card, MacKinlay e Shneiderman, 1999) Tem como objetivo principal oferecer ao usuário um mecanismo em que ele possa navegar sistemicamente na estrutura e na relação todo-parte. quando se pretende comparar uma variável com outras e, também, quando se deseja observar uma variável exclusiva. De forma geral, funciona como uma aproximação ou redução de visão, em que se possa visualizar a estrutura de um ponto de vista ou sobre a forma geral de apresentação. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

7 Visualização da Informação
Aplicando as técnicas de Card, MacKinlay e Shneiderman (1999) a este trabalho; Transformação dos dados para que estes possam ser apresentados em forma de uma pirâmide. 1) Aplicando as técnicas de Card, MacKinlay e Shneiderman (1999) a este trabalho, monta-se uma tabela de dados com a busca realizada semanticamente nas monografias com a utilização de palavras-chave digitadas pelo usuário e com os resultados das buscas indiretas realizadas por meio dos resultados. 2) No topo (nível superior da pirâmide) estarão dispostas as informações utilizadas para realizar a busca (um documento, um texto ou um conjunto de palavras-chave referenciadas pelo usuário). Em seguida serão mostrados os documentos que possuem ligação semântica com esse topo, ou seja, os dados que constituem a tabela darão forma à pirâmide da seguinte maneira: os dados com maior grau de relevância serão colocados mais próximos do topo da pirâmide, ficando claro para o usuário que quanto mais próximo do topo maior a similaridade de conteúdo. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

8 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Busca Semântica Integração com o sistema de Witerkosk (2006); Fases da Busca do sistema de Witerkosk (2006) Indexação dos documentos ; Cálculo da freqüência inversa ; Aplicação da decomposição em valores singulares ; Comparação de documentos Indexação dos documentos – fase em que cada documento, que é adicionado ao conjunto de documentos, recebe uma análise léxica, em que são identificadas as palavras e suas respectivas freqüências. Cálculo da freqüência inversa – técnica estatística que consiste em calcular a freqüência inversa do documento, ou seja, a relevância de um termo (palavra) é inversamente proporcional à quantidade de vezes em que ele ocorre no conjunto de documentos (ANSWERS, 2006). Aplicação da decomposição em valores singulares – técnica baseada na álgebra linear e utilizada para criar um espaço semântico a partir de uma matriz de co-ocorrência de termos (NAVEGA, 2004). Essa fase possibilita redução da influência individual dos termos, ou seja, remover os padrões de utilização das palavras menos significativas para o espaço semântico, preservando os padrões principais de uso desses termos. Comparação de documentos – fase em que as palavras-chave digitadas pelo usuário passam por um processo de indexação e cálculo da freqüência inversa. O resultado desse processo pode ser considerado um novo documento, representando somente as palavras-chave da busca. Esse documento gerado a partir da busca é comparado com os documentos-matrizes resultantes da decomposição em valores singulares. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

9 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Buscas Indiretas Melhoria no modo de utilização da busca; Buscas Indiretas consistem em utilizar os próprios resultados da busca direta como ponto de partida para novas buscas, ou seja, usar o próprio conteúdo dos resultados (monografias) como palavras-chave para novas buscas. As buscas indiretas, junto com a busca direta, montam um campo semântico entre os resultados, ou seja, um conjunto de monografias unidas pelo significado de suas palavras. Essas buscas permitem mostrar ao usuário do sistema as ligações semânticas entre os documentos resultantes da busca. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

10 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Spring-Embbeder O modelo Spring-Embedder foi originalmente proposto por Eades (1984 apud CHEN, 2006) ; O Spring-Embedder é associado a dois tipos de forças: Forças de Atração (Fa) e Forças de Repulsão (Fr). O modelo Spring-Embedder foi originalmente proposto por Eades (1984 apud CHEN, 2006) e é agora o mais popular algoritmo de desenhos de grafos indiretos (sem direção específica), pois segundo Chen (2006) ele é o favorito para sistemas de visualização da informação, por sua simplicidade e facilidade na compreensão. Porém, para o caso do trabalho aqui descrito, ele foi utilizado apenas uma vez para a pesquisa direta e outra para cada uma das pesquisas indiretas (utilizadas para montar a ligação semântica entre os documentos). TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

11 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Modo de desenho Módulo gráfico deste trabalho foi utilizada a API do Java 3D; Para a confecção da pirâmide, não era conhecido no mercado algoritmo algum de transformação; 1)Para a confecção da pirâmide, não era conhecido no mercado algoritmo algum de transformação, ou seja, um algoritmo que transformasse a lista de documentos resultantes da busca realizada pelo sistema Witerkosk (2006) em uma imagem de uma pirâmide tridimensional. Além disso, também era necessário que esse algoritmo fosse dinâmico. 2) O algoritmo de transformação confeccionado neste trabalho recebe como parâmetro de entrada uma lista de resultados ponderados com relevância e já aplicadas as forças de atração e repulsão (item 2.3), e fornece como saída uma pirâmide tridimensional TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

12 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Metodologia As metodologias utilizadas foram a Engenharia Reversa (SOMMERVILLE, 2003) e a Prototipação (PRESSMAN, 1995). Em um primeiro momento, foi necessário utilizar a Engenharia Reversa (SOMMERVILLE, 2003; PRESSMAN, 1995) para realizar o estudo de um software já existente (WITERKOSK, 2006); Com essa análise foram gerados alguns documentos, mas em virtude de o sistema estar bem estruturado e documentado não foi investido tempo nessa etapa. O foco principal foi a identificação de possíveis interfaces e de novos módulos, que foram confeccionados durante a realização da segunda fase, dada no inicio da confecção dos protótipos. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

13 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Metodologia Num segundo momento, houve a necessidade de utilizar a metodologia de Prototipação (PRESSMAN, 1995). Neste trabalho, as etapas de projeto rápido e de construção do protótipo foram unificadas, trabalhando ambas em conjunto Essa metodologia foi empregada por conta de o requisitante do sistema não ter estabelecido todas as funcionalidades do software, pois ele não tinha definidos seus reais requisitos. Essa metodologia permite evoluir o desenvolvimento do sistema pela construção de protótipos a serem apresentados ao requisitante, que poderá criticá-los e, se for o caso, solicitar alterações, seja identificando novos requisitos a cada protótipo ou até mesmo esclarecendo melhor requisitos identificados anteriormente. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

14 Diagrama de Arquitetura
Legenda:   - Em branco/azul, será desenvolvido pelo aluno - Em verde, se já está pronto, mas precisa integrar com o sistema. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

15 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Plano de Avaliação Especialista avaliar este trabalho; O especialista é o professor responsável pela disciplina Projeto Final II, do curso de Engenharia de Computação da PUC-Campinas; TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

16 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Plano de Avaliação Foi realizado o mesmo cadastro nos dois sistemas para proporcionar a comparação deste; O preenchimento de questionário estruturado, com o objetivo de avaliar se o objetivo do trabalho foi ou não alcançado. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

17 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Complexidade Interface Gráfica 3D; Visualização da Informação Integração com outro sistema de busca Trabalhar com Prototipação Utilização do algoritmo de transformação 3.3.1 Interface Gráfica 3D Em decorrência de o curso de graduação em Engenharia da Computação da PUC-Campinas não abordar em nenhuma disciplina interfaces gráficas 3D, conteúdo requerido para a execução deste trabalho, foi necessário realizar uma pesquisa independente sobre esse assunto, de forma que fosse possível prosseguir com o objetivo do trabalho, e isso certamente se torna um item de complexidade. Após o estudo individual, optou-se pela utilização de uma API Java, que possui as primitivas básicas de desenvolvimento 3D, possibilitando assim a confecção da imagem gráfica da busca semântica. 3.3.2 Visualização da Informação Foi pesquisado tanto no mercado quanto com especialistas da área algoritmos que façam a projeção de uma pirâmide tridimensional através de grafos, mas até a conclusão deste trabalho não se obteve conhecimento de nenhum algoritmo desse tipo. Em razão disso, foi necessária uma pesquisa sobre visualização da informação, que, somada à necessidade de o algoritmo ter sido desenvolvido e implementado, faz com que este item represente um alto grau de complexidade para o trabalho. 3.3.3 Integração com outro sistema de busca Foi usada uma busca semântica para a recuperação da informação de forma mais eficaz. Este trabalho foi integrado com o Sistema de Busca de Monografias confeccionado pelo aluno Wilson Witerkosk (2006), apresentado como trabalho de conclusão de curso no mesmo instituto em 2006. A necessidade de haver integração com outro sistema tornou ainda mais complexo o trabalho. 3.3.4 Trabalhar com Prototipação Na metodologia de trabalho Prototipação, os requisitos identificados pelo cliente podem não estar completamente definidos, e podem mudar totalmente no decorrer do desenvolvimento. Essa complexidade decorre da opção por utilizar a metodologia de Pressman (1995), uma vez que os requisitos do sistema não estavam totalmente definidos no início do projeto. 3.3.5 Utilização do algoritmo de transformação A utilização de algoritmo de transformação foi um dos itens mais complexos para a realização deste trabalho, pois os testes e a integração com o sistema de Witerkosk (2006) só ocorreram após o seu completo desenvolvimento. Conforme citado no item de complexidade “Visualização da informação”, não existe nenhum algoritmo pronto no mercado que realizasse a necessidade encontrada neste projeto. Foi focada a transformação de estruturas de dados em uma visualização gráfica dinâmica. Para alcançar os objetivos deste trabalho foi necessário transformar uma lista contendo os dados obtidos da busca em um grafo, para depois aplicar o algoritmo de visualização da informação. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

18 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Conclusão O foco principal do trabalho foi possibilitar ao usuário uma análise dos dados; Conclui-se que o desenvolvimento deste trabalho foi muito além das disciplinas vistas no curso de Engenharia de Computação, o que mostra que estas preparam o alicerce dos conhecimentos do autor deste trabalho TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA

19 TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA
Conclusão A avaliação do especialista mostra que o objetivo deste trabalho foi cumprido, visto que o resultado da avaliação apresenta valor máximo de concordância em todas as afirmações do questionário. TCC - VISUALIZAÇÃO DA LIGAÇÃO SEMÂNTICA