A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Renato Assuncao UFMG. What is different about the web? (Kumar) Volume (45 billions – ver

Apresentações semelhantes


Apresentação em tema: "Renato Assuncao UFMG. What is different about the web? (Kumar) Volume (45 billions – ver"— Transcrição da apresentação:

1 Renato Assuncao UFMG

2 What is different about the web? (Kumar) Volume (45 billions – ver Change (23% per day, dynamic content) Decay (short half-life) Heterogeneity (HTML, AJAX, pdf, images) Language variations Duplication (exact copying, near-duplication) Variable quality Links (malicious links, 404 (broken link), redirects, dead-ends) No easy way to evaluate performance

3 Recuperação de informação na WEB PRIMEIRO PASSO: Criar um índice das páginas e de seus conteúdos: Web crawler indexar as páginas recuperar conteúdo Este índice deve ser constantemente atualizado SEGUNDO PASSO Recebe query de usuário Encontra muitas páginas relevantes Passa a um algoritmo de PageRank para ordenar e exibir as páginas

4 Estrutura de Links da web Webpages sao ligadas INLinks e OUTlinks So os outlinks sao criados. Porque as pessoas criam outlinks? dar autoridade e aprovação as paginas apontadas E uma indicação (latente) de que o apontador confia na pagina apontada.

5 Googles PageRank Sergey Brin and Larry Page Comecaram em 1995 enquanto estudantes de PhD em Stanford

6 Web como um grafo

7 O que e o rank de uma pagina P? Seja r(P) o rank da pagina P r(P) 0 Ele e uma medida da relevância da pagina na WEB Quando um procedimento de text mining identificar QUAIS os documentos que parecem relevantes para MINHA BUSCA, eles serão retornados numa dada ordem. Esta ordem e aquela determinada pelos rankings r(P)s das paginas que foram encontradas. Assim, a ordem de apresentação das paginas depende apenas dos valores de r(P), quanto maior r(P) mais a frente na lista.

8 Exemplo: r(P)s somam 100%

9 O que e o rank de uma pagina P? Seja r(P) 0 o rank da pagina P Esta medida Não depende de nenhuma query especifica não depende do interesse do usuário que vai fazer a busca Não depende do tipo de assunto pelo qual ele tem ou não tem interesse e um numero absoluto!! Ele e calculado de antemão e guardado numa tabela.

10 Como os rankings são usados? Suponha tabela com um ranking r(P) para cada pagina da web Os rankings r(P)s somam 100% A cada consulta especifica: Encontramos as paginas que parecem relevantes, um subconjunto de todas as paginas Pegamos os rankings r(P)s dessas paginas relevantes Este e apenas um subconjunto dos rankings e NÃO SOMAM 100% Retornamos as paginas relevantes na ordem dos seus r(P)s

11 Como obter o rank r(P)? Seja r(P) o rank da pagina P Seja B_P o conjunto de paginas que apontam para P Isto e, B_P = conjunto dos nos que levam diretamente a P em um único passo Para cada pagina Q em B_P, calcule seu rank r(Q) A indicacao de uma pagina que aponta para poucas outras paginas e mais relevante do que a indicacao de uma pagina que aponta para milhares de outras

12 Relevância por indicação

13 Exemplo:

14 Procedimento recursivo Calculo-Definicao de r(P) depende do valor de r(Q) das outras paginas vizinhas. O r(Q) dessas vizinhas depende do rank r(P). Dilema do ovo e da galinha: começa com valor inicial fictício para r(P) e itere Suponha que existam n paginas em toda Web Comece com 1/n Itere sucessivamente ate convergir

15 Iteração matricial Procedimento iterativo em forma matricial Seja Procedimento iterativo em forma matricial Seja Então

16 Iteração matricial A iteração matricial Fica reduzida a Isto é, a j-ésima avaliação do vetor de page rankings é a potência j da matriz P aplicada ao vetor inicial (1º.)

17 Funciona... Mas como e porque? Processo iterativo converge ou pode prosseguir indefinidamente? Sob que circunstancias ou propriedades de P vamos ter convergencia? Vai convergir para algo que faz sentido no contexto de Web retrieval information? Converge sempre para um único vetor ou pode convergir para mais de um vetor ? Depende dos valores iniciais r 0 (P i )? Quanto tempo para convergir?

18 Grafo matriz de vizinhança

19 Passeando aleatoriamente na Web P e a matriz de transicao de uma cadeia de Markov P = matriz estocastica: P ij 0 Linhas somam 1 Estados = nos do grafo Em cada instante, pule para nova pagina escolhendo um link ao acaso

20 Matriz de transicao P ij = Prob(de ir de i para j em um passo) P 2 = PP tambem e matriz estocastica elementos não-negativos somando 1 nas linhas P 2 ij = Prob (de ir de i para j em DOIS passos) Idem para P k

21 Autovetores e PageRank Teorema: Seja P a matriz n x n de transição de uma cadeia de Markov Suponha que a cadeia e aperiodica e irredutivel Entao existe um único vetor de dimensao n tal que: t P = t e t (1,...,1) = 1 Este vetor e chamado de distribuição estacionaria. ESTE VETOR E O RANKING DAS PAGINAS WEB!!!!! Alem disso, lim k P k = (1,...,1) t Isto implica que lim j j t = lim j j-1 t P = π 0 t lim j P j = t

22 Ajustando P Matriz P pode NÃO SER uma matriz estocastica Paginas sem OUTlinks: Documentos pdf Imagens Geram linhas com elementos P ij =0, que somam ZERO Isto e, substitua a linha nula por uma linha com todos os valores iguais a 1/numero de paginas na web Assim, se chegar nesta pagina, pula para uma outra pagina escolhida ao acaso na web.

23 Outro ajuste na matriz A matriz modificada para superar as paginas sem links e a matriz S. Precisamos de mais uma modificação. Existem também regiões quase absorventes que dificultam a convergência para uma dist estacionária São quase-cliques, grupos fechados de páginas que se interapontam mas que possuem poucas ligações com o resto da web.

24 Teleportation Solução de Brin and Page: Ocasionalmente, com probab (1- α) o surfista da Web escolhe uma das n páginas da web ao acaso para recomeçar. Seja e = (1,...,1) Em termos matriciais: G α S + (1- α) (1/n) e.e t α 0.85 no Google

25 PageRank Com estas modificacoes (isto é, com a matriz G), o algoritmo PageRank encontra os rankings: E o único autovetor π pela esquerda da matriz G que possui autovalor 1 Como encontrar estes rankings na prática, já que G é uma matriz bilionária? Inviável calcular autovetor por métodos tradicionais Método da potência: Para QUALQUER vetor inicial, a sequencia π 0 t G k converge para vetor o vetor π, Use π 0 = 1/n * (1,..., 1)

26 Convergência Rapidez da convergência depende do segundo maior autovalor de G = α (P + (1/n) * a.e t ) + (1- α) (1/n) e.e t Primeiro (maior) autovalor é 1 (matriz estocástica) Todos os outros autovalores têm módulo menor que 1 (Teorema de Perron-Frobenius) Segundo maior autovalor 2 : Diferença : spectral gap quanto menor o spectral gap, mais lenta a convergência Quanto menor α, mais rápida a convergência mas pior a representação da estrutura da web. Google PageRank itera entre 50 e 100 vezes para obter convergência

27 Vetores personalizados Different teleportation: Ao invés de usar (1/n) e.e t, use e.v t v é um vetor de probabilidade de dimensão n e.v t é uma matriz n x n Modificando G = α (P + (1/n) * a.e t ) + (1- α) (1/n) e.e t por G = α (P + (1/n) * a.e t ) + (1- α) e.v t Com probab (1- α), usuário escolhe nova página com probab dada pelo vetor v

28 Vetores personalizados Todas as propriedades são preservadas: Ainda pode usar o método de potência Taxa de convergência governada por α Pode usar métodos de multiplicação de matriz esparsa Armazenagem mínima Pode fazer método ser dependente da query

29 Alguns detalhes finais SIAM meeting in 2002: Google declarou que atualiza mensalmente os page rankings, tudo de novo (incluindo a criação do index)


Carregar ppt "Renato Assuncao UFMG. What is different about the web? (Kumar) Volume (45 billions – ver"

Apresentações semelhantes


Anúncios Google