Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Clustering de Documentos
2
Equipe Diogo Philippini Pontual Branco
Flavio de Holanda Cavalcanti Junior José Paulo Henrique de Melo Fernandes Luana Martins dos Santos
3
Roteiro Motivação Clustering x Classificação Métodos K-means
Arquitetura de Mozer Adaptive Information Retrival (AIR) Adaptive Resonance Theory (ART) Aplicações Conclusão
4
Motivação
5
Motivação Agrupar documentos semelhantes em classes não- conhecidas a priori.
6
Motivação
7
Motivação Loja Chocolate Morango A 12 6 B 20 16 C 18 17 D 10 8 E 7 F 9
8
Motivação
9
Motivação
10
Motivação
11
O que é Clustering? Antropologia (Driver e Kroeber, 1932)
"Encontrar grupos de objetos tais que objetos em um mesmo grupo sejam similares entre si e diferentes de objetos em outros grupos." Não é um algoritmo!
12
Como pode me ajudar? Identificação de grupos
Identificação de relacionamentos Simplificação de informação
13
E na RI? Cluster Hypothesis(Van Rijsbergen ): “Dois documentos similares têm maior probabilidade de serem relevantes para uma mesma pesquisa.” Relevância! Organização de resultados
14
E na RI? Documentos similares são adicionados ao mesmo cluster
Aumentar a cobertura
15
Motivação Problema de natureza não-supervisionada
Agrupar um conjunto de documentos em clusters
16
Classificação X Clustering
17
Relembrando Classificação
"A classificação de textos é a tarefa de associar textos em linguagem natural a rótulos pré-definidos, a fim de agrupar documentos semanticamente relacionados"
18
E as diferenças? Clustering Criar grupos de documentos
Classes definidas pelo algoritmo Classificação Classes definidas previamente Determinar a qual classe pertence o documento
19
Métodos de Clustering
20
Métodos de Clustering Associatividade dos membros:
Hard Clustering: Clusters isolados Soft Clustering (Fuzzy Clustering): Função de pertinência Modelos de clustering: Connectivity models: Definido pela distância. Centroid models: Definido por centróides. Density models: Definido por regiões densas.
21
Modelos Incompatíveis
Modelo Densidade (DBSCAN) Modelo Centróide (K-means)
22
Modelo Hierárquico:: Connectivity Model
Permite agrupamento hierárquico dos vetores de entrada, baseando-se em um cálculo de dissimilaridade específico. Abordagem aglomerativa (bottom-up), e divisiva (top-down).
23
Escolha da Referência Formas diferentes de tomar a distância euclidiana como discriminante para formação de agrupamentos: Single linkage Complete linkage Average linkage dm = ( d(1,3) + d(1,4) + (d1,5) + d(2,3) + d(2,4) + d(2,5) ) / 6
24
Single Linkage vs. Complete Linkage
25
Desvantagens Conjunto de clusters relevantes não definidos
Não leva em conta outliers (ruído/discrepâncias) Chaining phenomenon “Data Mining” reconhece o método como um fundamento teórico inspirador, porém obsoleto.
26
K-means:: Centroid Model
Algoritmo simples com muitas variações. Define uma classe de algoritmos. Algoritmo: Escolher os centros iniciais dos k clusters desejados randomicamente. Repetir enquanto não houver alteração nos clusters: Associar cada vetor ao cluster de centro mais próximo. Calcular o novo centro de cada cluster como a média aritmética de seus vetores.
27
Exemplo Exemplo K = 3 c2 c1 Escolher os centros iniciais.
Associar cada vetor ao cluster mais próximo. Determinar os novos centros. Associar cada vetor ao cluster mais próximo. Determinar os novos centros. Associar cada vetor ao cluster mais próximo. Não houve alterações. c1
28
Intenção do K-means Minimiza Variância intra-grupos
Maximiza Variância inter-grupos
29
Desvantagens K especificado previamente Clusters de tamanho similar
Roda diversas vezes, com inicializações aleatórias diferentes (Otimizações podem sugerir as melhores configurações iniciais a serem testadas. Ex: K-means++)
30
K-means:: Otimização do K-Means
Escolha aleatoriamente um ponto do conjunto de dados como um centro de cluster. Para cada ponto x, compute a distância D(x) entre ele e o centro de cluster mais próximo. Escolha aleatoriamente um novo ponto como centro de cluster, tal que a probabilidade de um ponto x ser escolhido como centro é proporcional à distância D(x)2. Repita os passos 2 e 3, até que k centros tenham sido escolhidos. Agora execute o procedimento K-means para os centros escolhidos.
31
DBSCAN:: Density Model
Número mínimo de pontos vizinhos para formar um cluster Raio da vizinhança de um membro do cluster
32
DBSCAN:: Density Model
33
Arquitetura de Mozer
34
Rede Neural
35
Rede Neural
36
Arquitetura de Mozer Conexões Excitatórias Conexões Inibitórias
ligações entre termos de indexação e documentos; Conexões Inibitórias ligações entre pares de documentos.
37
Arquitetura de Mozer
38
Arquitetura de Mozer Consulta: "programação linguística"
39
Arquitetura de Mozer
40
Arquitetura de Mozer
41
Arquitetura de Mozer “Bein e Smolensky (1988) implementaram e testaram esse modelo de rede neural proposta por Mozer utilizando documentos e termos de indexação. Eles avaliaram os resultados apresentados como satisfatórios e sugeriram novos testes utilizando bases de dados maiores e com características diversas.” Redes neurais e sua aplicação em sistemas de recuperação de informação – Edberto Ferneda (USP)
42
Arquitetura de Mozer Vantagens Desvantagens Implementação simples
Habilidade de produzir resultados não esperados Desvantagens Não aprende
43
Adaptive Information Retrieval
AIR Adaptive Information Retrieval
44
Adaptive Information Retrival
Criado por Belew em 1989 Aprendizado não-supervisionado Redes "flexíveis“ Feedback do usuário influencia a resposta da rede Implantável só em ambientes nos quais os usuários possuam interesses comuns
45
Adaptive Information Retrival
Fonte: [1]
46
Adaptive Information Retrieval
Vantagens É capaz de aprender, como toda RN A arquitetura da rede é flexível Desvantagens Só funciona em ambientes onde os usuários possuem interesses em comum
47
Adaptive Ressonance Theory
ART Adaptive Ressonance Theory
48
Adaptive Resonance Theory
Proposto por Grossberg e Gail Carpenter Tenta agrupar os dados a partir deles próprios Dilema da Plasticidade-Estabilidade Sensível ao contexto Descrimina dados irrelevantes ou repetidos Rede é implementada em três versões ART1, ART2 e ART3
49
ART1 Características O tamanho dos clusters
Aprendizado não-supervisionado Só aceita entradas binárias Deve-se definir a priori o limiar de vigilância O tamanho dos clusters
50
ART1 Arquitetura Fonte: [2]
51
ART1 Arquitetura Fonte: [2]
52
ART1 Funcionamento Inicialização Reconhecimento Comparação
Limiar de vigilância Busca
53
ART1 Inicialização Fonte: [2]
54
ART1 Reconhecimento Fonte: [2]
55
ART1 Comparação Fonte: [2]
56
ART1 Comparação Fonte: [2]
57
ART1 Limiar de vigilância Fonte: [2]
58
ART1 Busca Fonte: [2]
59
ART1 Para visualizar melhor:
60
ART1 Para visualizar melhor:
61
ART1 Para visualizar melhor:
62
ART2 Estende as capacidades do ART1
Permite o uso de entradas contínuas Possui todas as características da ART1 É preciso definir mais parâmetros Introduz o conceito de STM e LTM STM - Short-term memory LTM - Long-term memory
63
ART2 - Arquitetura Fonte: [3]
64
ART Na verdade, ART possui diversas variações: ART2-A ART3 Fuzzy ART
ARTMAP Fuzzy ARTMAP
65
Aplicações
66
Nuvem de tags
67
Resultados de busca agrupados
68
Sistemas de Recomendação
69
Análise de Redes Sociais
70
Navegação Hierárquica
71
Bioinformática
72
Conclusões
73
Conclusões Redução do espaço de busca
As técnicas utilizadas são consolidadas na área de IA Computacionalmente mais caro Pode incluir documentos irrelevantes no resultado da busca
74
Referências
75
Referências 1. F. Edberto, Neural networks and its application in information retrival systems, jan./abr. 2006 2. R.Beale and T.Jackson, “Neural Computing: An Introduction”, Department of Computer Science, University of York. 1990 3. Gail A. Carpenter and Stephen Grossberg, “ART2: Self- organization of stable category recognition codes for analog input patterns”, Center for Adptive Systems, Boston University, 11/06/1987 4. “ access on 13/07/2013 5. Apresentação do grupo de 2010 6.
76
Dúvidas
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.