Flávio Henrique Moura Stakoviak

Apresentação em tema: "Flávio Henrique Moura Stakoviak"— Transcrição da apresentação:

1 Flávio Henrique Moura Stakoviak
Desenvolvimento e Implantação de um Sistema para Recomendação de Tags utilizando Clustering e Classificação Textual para o Konnen Flávio Henrique Moura Stakoviak

2 Roteiro Conceitos Clustering + Classificação Textual Resultados
Considerações Finais

3 Roteiro Conceitos Clustering + Classificação Textual Resultados
Considerações Finais

4 Conceitos Sistemas de Marcação Social Folksonomia
Recuperação da Informação Clustering Sistemas de Recomendação

5 Conceitos Sistemas de Marcação Social Folksonomia
Recuperação da Informação Clustering Sistemas de Recomendação

6 Sistemas de Marcação Social
Tags Motivação Recuperar Informação futuramente Compartilhar Expressar opiniões

7 Sistemas de Marcação Social (cont.)

8 Conceitos Folksonomia Sistemas de Marcação Social
Recuperação da Informação Clustering Sistemas de Recomendação

9 Folksonomia Liberdade ao Usuário Marcações Populares nas Tags
Organização da Web

10 Folksonomia (cont.) Problemas Sobrecarga de Informações
Diferentes Tags para um mesmo conteúdo Sistemas não tem interligações

11 Conceitos Recuperação da Informação Sistemas de Marcação Social
Folksonomia Recuperação da Informação Clustering Sistemas de Recomendação

12 Recuperação da Informação
Auxiliar o usuário a busca por informações Etapas Aquisição Preparação Indexação Busca Ordenação

13 Recuperação da Informação (cont.)
Técnicas auxiliares WebCrawler Stop Words Lematização

14 Conceitos Clustering Sistemas de Marcação Social Folksonomia
Recuperação da Informação Clustering Sistemas de Recomendação

15 Clustering Clustering
é um método de descoberta de conhecimento que identifica agregações ou relações entre objetos, sendo um método útil para o agrupamento de documentos similares (WIVES, 1999)

16 Clustering (cont.) Etapas de Clustering Representação de Padrões
Mediação da Proximidade Identificação do Clustering (Técnicas) Abstração dos Dados Validação dos Clusters

17 Clustering (cont.) Técnicas de Clustering Clustering Hierárquico
Algoritmo Particional Density based Model based

18 Clustering (cont.) Técnicas de Clustering Algoritmo Particional
Clustering Hierárquico Algoritmo Particional Density based Model based

19 Conceitos Sistemas de Recomendação Sistemas de Marcação Social
Folksonomia Recuperação da Informação Clustering Sistemas de Recomendação

20 Sistemas de Recomendação
Sistema de Recomendação

21 Sistemas de Recomendação (cont.)
Tags Uniformizar as marcações Melhora a eficiência dos resultados das buscas Folksonomia

22 Roteiro Clustering + Classificação Textual Conceitos Resultados
Considerações Finais

23 Clustering + Classificação Textual
Documento a ser analisado K agrupamentos Base de dados Lista de termos Peso de cada termo em cada cluster

24 Clustering + Classficação Textual (cont.)
Lista de classificação de Termos Lista de classificação de Tags Histórico de Tags do Usuário ∩ ∩

25 Clustering + Classficação Textual (cont.)
Lista de Tags Recomendadas

26 Roteiro Resultados Conceitos Clustering + Classificação Textual
Considerações Finais

27 Resultados Konnen

28 Módulo de Recomendação
Resultados (cont.) Módulo Core Módulo de Segurança Outros módulos Módulo de Conteúdo Módulo de Recomendação Konnen

29 Resultados (cont.) Konnen em desenvolvimento
Estrutura em constante evolução Falta de conteúdo real para simulação

30 Resultados (cont.) WebCrawler Utility.Util:GenerateData() Utility.User
Utility.Tag Utility.ContentTag Utility.Content / Page Bibsonomy Servidor Local Utility.StopWords Lematização Utility.Util:PrepareData() Utility.StopWords LemmaSharp.Ilemmatizer Utility.Content / Page

31 Resultados (cont.) Duração das Etapas (996 registros) Tempo WebCrawler
Tempo WebCrawler 3 minutos Lematização 22 minutos

32 Número de tags por usuário
Resultados (cont.) Mínimo Máximo Média Número de tags por post 1 23 1,35 Número de posts por usuário 899 39,84 Número de tags por usuário 1000 341,56

33 Número de tags atribuídas por usuários às postagens
Resultados (cont.) Número de tags atribuídas por usuários às postagens

34 Módulo de Recomendação
Resultados (cont.) Módulo de Recomendação Clustering Módulo de Conteúdo Konnen

35 Resultados (cont.) Documento: «  Visual analytics tools for analysis of movement data » Etapas: 5 execuções para cada valor de cluster = { 5, 10, 20, 25, 30 } 5 melhores resultados

36 Resultados (cont.) Para 5 clusters Tempo Iterações Recomendações
Tempo Iterações Recomendações 1ª execução 4,63 3 data, analysis, reasoning, automatic, method 2ª execução 4,89 2 analysis, data, human, time, automatic 3ª execução 4,85 human, data, case, method, support 4ª execução 4,66 data, analysis, large, method, automatic 5ª execução 4,72 data, method, large, study, understanding

37 Resultados (cont.) Para 10 clusters Tempo Iterações Recomendações
Tempo Iterações Recomendações 1ª execução 8,50 3 data, analysis, scale, support, automatic 2ª execução 14,47 2 analysis, data, large, reasoning e servisse 3ª execução 8,02 analysis, data, mobility, framework, human 4ª execução 14,69 4 data, analysis, tool, tools, method 5ª execução 8,34 data, analysis, framework, knowledge, visual

38 Resultados (cont.) Para 20 clusters Tempo Iterações Recomendações
Tempo Iterações Recomendações 1ª execução 28,60 4 data, analysis, support, case, large 2ª execução 37,99 knowledge, data, analysis, case e human 3ª execução 36,21 data, tools, analysis, case, semantic 4ª execução 19,65 data, tools, analysis, support, techinique 5ª execução 10,20 3 data, analysis, large, study, human

39 Resultados (cont.) Para 25 clusters Tempo Iterações Recomendações
Tempo Iterações Recomendações 1ª execução 12,11 3 data, analysis, human, semantic, visual 2ª execução 22,65 4 data, analysis, human, tools, visual 3ª execução 22,62 data, analysis, large, database, studies 4ª execução 11,93 data, analysis, support, collection, human 5ª execução 22,59 5 data, analysis, gps, human, visual

40 Resultados (cont.) Para 30 clusters Tempo Iterações Recomendações
Tempo Iterações Recomendações 1ª execução 27,06 4 human, data, analysis, mobility, pattern 2ª execução 26,57 data, analysis, interactive, human, making 3ª execução 14,45 data, analysis, human, method, mobility 4ª execução 14,75 3 data, analysis, human, knowledge, mobility 5ª execução 27,38 data, analysis, human, semantic, visual

41 Resultados (cont.) Freqüência dos colocados:
1o : data(18), analysis(3), human(2), knowledge(1) 2o : analysis(16), data(6), tools(2), method(1) 3o : human (5), large (5), analysis(4), case, reasoning, scale, mobility, tool, gps 4o : method (3), case (3), study(2), support(2), knowledge (2), semantic(2), human(2), tools(2), automatic(1), time(1), reasoning(1), framework(1), collection(1), mobility(1) 5o : visual(5), human(4), automatic(3), method(2), support(1), understanding(1), servisse(1), large(1), semantic(1), techinique(1), pattern(1), making(1)

42 Resultados (cont.) Melhores recomendações:
data, analysis, human/large, method/case, visual Tempo de execução muito alto Usuário web quer tempo de resposta baixo

43 Resultados (cont.) Para 50 documentos e 3 clusters:
Tempo de execução: 1,38 segundos Recomendação: automatic, knowledge, gps, method, pattern Qualidade da recomendação fraca

44 Roteiro Considerações Finais Conceitos
Clustering + Classificação Textual Resultados Considerações Finais

45 Considerações Finais Boa performance
Excelente qualidade das recomendações Funciona em qualquer ambiente

46 Considerações Finais Depende de uma base com um bom vocabulário
Usuários online: pré-classificação dos documentos

47 Flávio Henrique Moura Stakoviak
Desenvolvimento e Implantação de um Sistema para Recomendação de Tags utilizando Clustering e Classificação Textual para o Konnen Flávio Henrique Moura Stakoviak