Indexação por Semântica Latente (Latent Semantic Indexing) Joaquim Macedo.

Apresentação em tema: "Indexação por Semântica Latente (Latent Semantic Indexing) Joaquim Macedo."— Transcrição da apresentação:

1 Indexação por Semântica Latente (Latent Semantic Indexing) Joaquim Macedo

2 Fontes Apresentação de Berthier Neto Outras apresentações disponíveis na Internet

3 Leituras Scott Deerwester, Susan T. Dumais, George W. Furnas, Thomas K. Landauer, Richard Harshman, "Indexing by latent semantic analysis". Journal of the American Society for Information Science, Volume 41, Issue 6, 1990. http://www3.interscience.wiley.com/cgi- bin/issuetoc?ID=10049584 Livro Modern Information Retrieval Cap. 02: Modeling (Latent Semantic Indexing) 2.7.2, 2.7.3

4 Indexação por Semântica Latente A RI clássica pode conduzir a baixa eficácia na busca devido a –Documentos não relacionados podem ser incluídos no conjunto da resposta –Documentos relevantes que não contenham pelo menos um termo de índice da interrogação podem não ser devolvidos Raciocínio: Busca baseada em termos de índice é vaga e ruidosa.

5 Deficiências com indexação automática convencional Sinónimos: Várias palavras e frases referenciam o mesmo conceito (diminui a cobertura) Homógrafas: Palavras que têm mais que um significado (diminui a precisão) Independência: Não é dada importância ao facto de 2 termos aparecerem em conjunto frequentemente

6 Indexação por Semântica Latente Objectivo Substituir índices que usam conjunto de termos de índice por índices que usam conceitos. Abordagem Estabelecer uma correspondência entre o espaço vectorial dos índices por um espaço de menor dimensão, usando a decomposição em valores singulares

7 t1t1 t2t2 t3t3 d1d1 d2d2  O espaço tem tantas dimensões como os termos da lista de palavras Espaço vectorial dos termos de índice

8 PCA e SVD PCA ( Principle Component Analysis) –Análise em Componentes Principais SVD: Singular Value Decomposition –Decomposição em Valores Singulares Recursos –The Matrix Cookbook http://www.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/i mm3274.pdfhttp://www.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/i mm3274.pdf

9 Análise em Componentes Principais (PCA) Exemplo: Projectar dados 2D num PC 1D Variabilidade dos dados pode ser descrito usando um menor número de dimensões –Funciona bem quando as facetas de entrada estão correlacionadas –As novas dimensões são não correlacionadas.

10 Análise Discriminante Linear Linear Discriminant Analysis (LDA) A análise por componentes principais não é necessariamente boa para discriminação na classificação. A Análise disciminante linear procura encontrar uma transformação linear que maximiza a variância entre classes e minimizar a variância interna das classes –i.e. discriminação das facetas

11 Análise Discriminante Linear Projectar um espaço 2D num 1 PC B. 2.0 1.5 1.0 0.5 0.5 1.0 1.5 2.0............. A w. Não descriminante (from slides by Shaoqun Wu)

12 Análise Discriminante Linear B. 2.0 1.5 1.0 0.5 0.5 1.0 1.5 2.0............. A w. B. 2.0 1.5 1.0 0.5 0.5 1.0 1.5 2.0............. A w. PCA LDA: descobre uma discriminação linear

13 PCA e SVD Fazer a PCA é equivalente ao SVD nos dados Qualquer matriz X nxm pode ser descrita como: –X=T · S · V T –T é os vectores de valores próprios de X · X T (nxn) –S é a diag(eig(X · X T ) (nxm) –V é os vectores de valores próprios dr X T · X (mxm) n x m terms documents X

14 Exemplo de Documentos: Títulos c1Human machine interface for Lab ABC computer applications c2A survey of user opinion of computer system response time c3The EPS user interface management system c4System and human system engineering testing of EPS c5Relation of user-perceived response time to error measurement m1The generation of random, binary, unordered trees m2The intersection graph of paths in trees m3Graph minors IV: Widths of trees and well-quasi-ordering m4Graph minors: A survey

15 Exemplo : Termos e Documentos Terms Documents c1c2c3c4c5m1m2m3m4 human100100000 interface101000000 computer110000000 user011010000 system011200000 response010010000 time010010000 EPS001100000 survey010000001 trees000001110 graph000000111 minors000000011

16 Dimensão das matrizes X= T0T0 D0'D0'S0S0 t x dt x mm x dm x m m é o rank de X < min(t, d)

17 Latent Semantic Indexing t x d terms documents X = t x m m x mm x d * D S T 0 00 Singular Value Decomposition t x dt x k k x k k x d = terms documents * X D S T Select first k singular values ^

18 T0T0

19 S0S0

20 D0D0

21 Rank Reduzido Os elementos da diagonal de S 0 são positivos e decrescem em magnitude. Considere apenas os k maiores e coloque os restantes a zero. Apague as colunas e as filas a zero de S 0 e as filas correspondentes de T 0 e D 0. Isto dá: X X = TSD' Interpretação Se o valor k for bem seleccionado, espera-se que X retenha a informação semântica de X, mas elemine o ruído de sinónomos, homografias e reconhece a dependência. ~ ~ ^ ^

22 Selecção de valores singulares X = t x dt x kk x dk x k k é o número de valores singulares escolhidos para representar os conceitos no conjunto de documentos Normalmente k « m. T SD' ^

23 SVD com os termos menores descartados TS define coordenadas para documentos no espaço latente

24 Termos Graficados em 2 dimensões

25 Documentos e Termos

26 Comparação de dois termos XX' = TSD'(TSD')' = TSD'DS'T' = TSS'T Uma vez que D é ortonormal = TS(TS)' Para calcular a posição i, j, calcule o produto interno entre a fila i e j de TS Uma vez que S é diagonal, TS difere apenas de T pela mudança do sistema de coordenadas. ^ ^ O produto interno de duas filas de X reflecte em que medida dois termos têm um padrão similar de ocurrências. ^

27 Comparação entre 2 documentos X'X = (TSD')'TSD' = DS(DS)' Para calcular a posição i, j, obtenha o produto interno entre as colunas i e j de DS. Uma vez que S é diagonal DS difere D apenas pela mudança d o sistema de coordenadas. ^ ^ O produto interno de duas colunas de X reflecte a medida em que dois documentos têm um padrão similar de ocurrências. ^

28 Comparação de um termo e um documento A comparação entre um termo e um documento duma célula individual de X. X = TSD' = TS(DS)' Onde S é uma matriz diagonal cujos valores são a raiz quadrada dos correspondentes valores de S. ^ - - -

29 Exemplo duma Memo técnica: Interrogação Terms Query x q human1 interface0 computer0 user0 system1 response0 time0 EPS0 survey0 trees1 graph0 minors0 Interrogação: "human system interactions on trees" No espaço termo-documento, uma interrogação é representada por x q, um vector t x 1. No espaço de conceitos, uma interrogação é representada por d q, um vector 1 x k.

30 Interrogação A forma sugerida de d q é : d q = x q 'TS -1 Exemplo de uso. Para comparar uma interrogação com um documento i, tome o elemento iésimo do produto de DS e d q S, que é iésimo elemento do produto de DS e x q 'T. Observe que d q é um vector coluna.

31 Interrogação Seja x q um vector de termos para a interrogação q. No espaço de dimensão reduzido, q, é representado pelo pseudo-documento, d q, no centroides de termos, com aapropriada mudança de escala dos eixos. d q = x q 'TS -1

32 Resultados Experimentais Deerwester, et al. ensaiaram o LSI em duas colecções de teste MED e CISI, com interrogações e julgamentos de relevância disponíveis. Documentos eram compostos por títulos e resumos. Listas de Stopwords de 439 palavras, sem stemming, etc. Comparação com: (a) unificação simples de termos, (b) SMART, (c) método de Voorhees.

33 Resultados Experimentais: 100 Factores

34 Resultados Experimentais: Nº de Factores

35 Conclusões O Latent semantic indexing fornece uma diferente conceptualização do problema da RI(IR) Permite a redução da complexidade do quadro de representação subjacente o que pode ser explorado por exemplo com o propósito de interface com o utilizador