A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Introduction to Information Retrieval Introduction to Information Retrieval CS276 Information Retrieval and Web Search Christopher Manning and Prabhakar.

Apresentações semelhantes


Apresentação em tema: "Introduction to Information Retrieval Introduction to Information Retrieval CS276 Information Retrieval and Web Search Christopher Manning and Prabhakar."— Transcrição da apresentação:

1 Introduction to Information Retrieval Introduction to Information Retrieval CS276 Information Retrieval and Web Search Christopher Manning and Prabhakar Raghavan Lecture 8: Evaluation

2 Introduction to Information Retrieval 2 Nesta Aula Como sabemos se nosso resultado é bom? Avaliando um mecanismo de busca Benchmarks Precisão e retorno Resumo dos resultados: Fazendo os bons resultados utilizáveis para o usuário Sec. 6.2

3 Introduction to Information Retrieval AVALIANDO MECANISMOS DE BUSCA

4 Introduction to Information Retrieval 4 Medidas para um mecanismo de busca Quão rápido é a indexação Número de documentos/hora (Tamanho médio de documento) Quão rápido é a busca Latência em função do tamanho de índice Expressividade da linguagem de consulta Capacidade de expressar a necessidade de informações complexas Velocidade em consultas complexas UI ordenado (Uncluttered UI) É grátis? Sec. 8.6

5 Introduction to Information Retrieval 5 Medidas para um mecanismo de busca Todos os critérios anteriores são mensuráveis: podemos quantificar a velocidade/tamanho Nós podemos fazer expressividade precisa A medida-chave: a felicidade do usuário O que é isso? Velocidade de resposta / tamanho do índice são fatores Mas mesmo que incrivelmente rápidas, respostas inúteis não deixarão um usuário feliz Precisamos de uma forma de quantificar a felicidade do usuário Sec. 8.6

6 Introduction to Information Retrieval 6 Medindo a felicidade de usuário Questão: quem é o usuário que estamos tentando fazer feliz? Depende da configuração Sistema Web: Usuário encontra o que quer e retorna ao sistema Pode medir a taxa de retorno de usuários Usuário conclui a sua tarefa - a pesquisa como um meio, não fim Veja Russell short.pdf Site de eCommerce: usuário encontra o que quer e compra É do usuário final, ou do site eCommerce, cuja felicidade se mede? Medida do tempo para comprar, ou fração de usuáris que se tornam compradores? Sec

7 Introduction to Information Retrieval 7 Medindo a felicidade de usuário Empresas (companhias/governo/academia): Se preocupam sobre produtividade do usuário Quanto tempo meus usuários economizam quando procuram por informação? Muitos outros critérios têm a ver com a largura de acesso, acesso seguro, etc Sec

8 Introduction to Information Retrieval 8 Felicidade: não há como medir Representante mais comum: relevância dos resultados de busca Mas como medir relevância? Vamos detalhar a metodologia aqui, em seguida, analisar os seus problemas Medição da relevância requer 3 elementos: 1.Uma coleção de documentos de referência 2.Um conjunto referência de consultas 3.Uma avaliação, geralmente binária, de Relevante ou Não-Relevante para cada consulta e cada documento Alguns trabalham com mais que binário, mas não é o padrão Sec. 8.1

9 Introduction to Information Retrieval 9 Avaliando um sistema de RI Nota: a necessidade de informação é traduzida em uma consulta A relevância é avaliada em relação à informação necessária não a consulta Por exemplo, informação necessária: Estou procurando informações sobre se beber vinho tinto é mais eficaz para reduzir o risco de ataques cardíacos do que o vinho branco. Consulta: vinho branco vermelho ataque cardíaco eficaz Avaliar se o documento aborda a informação necessário, não se possui estas palavras Sec. 8.1

10 Introduction to Information Retrieval 10 Medida de relevância padrão TREC - National Institute of Standards and Technology (NIST) rodou um grande teste base de RI por muitos anos Reuters e outras coleções de documentos de referência usados Tarefas de recuperação especificadas As vezes como consultas Um expert marca, para cada consulta e cada documento, Relevante ou Não-relevante ou pelo menos um subconjunto de documentos que alguns sistemas retornam para a consulta Sec. 8.2

11 Introduction to Information Retrieval 11 Avaliação de recuperação não rankeada: Precisão ou Retorno Precisão: fração de documentos recuperados que são relevantes = P(relevante|recuperado) Retorno: fração de documentos relevantes que são recuperados = R(recuperado|relevante) Precisão P = tp/(tp + fp) Retorno R = tp/(tp + fn) RelevanteNão-relevante Recuperadotpfp Não recuperadofntn Sec. 8.3

12 Introduction to Information Retrieval 12 Nós devemos, ao invés, medida de precisão para a avaliação? Dada uma consulta, um sistema classifica cada documento como Relevante ou Não-relevante A precisão de um sistema: a fração destas classificações são corretas (tp + tn) / ( tp + fp + fn + tn) = exatidão Precisão é uma medida de avaliação comumente usada em trabalhos de classificação de máquinas de aprendizagem Por que não é uma medida de avaliação muito útil em RI? Sec. 8.3

13 Introduction to Information Retrieval 13 Por que não usar precisão? Como construir um sistema de busca com precisão de % com baixo orçamento…. Pessoas que fazem recuperação de informação querem encontrar alguma coisa e tem uma certa tolerância a lixo. Search for: 0 matching results found. Sec. 8.3

14 Introduction to Information Retrieval 14 Precisão/Retorno Você pode ter alto retorno (mas baixa precisão) ao recuperar todos os documentos para todas as consultas! Retorno é uma função crescente de número de documentos recuperados Em um bom sistema, quando a precisão decresce o número de documentos recuperados aumenta (retorno aumenta) Isto não é um teorema, mas um resultado com forte confirmação empírica Sec. 8.3

15 Introduction to Information Retrieval 15 Dificuldade no uso da precisão/retorno Precisa da decisão humana de relevância Pessoas não são assessores confiáveis Decisão tem que ser binária Decisões com nuances? Fortemente enviesado por coleção/autoria Resultados podem não traduzir de um domínio para outro Sec. 8.3

16 Introduction to Information Retrieval 16 Uma medida combinada: F Medida combinada que avalia o intercâmbio precisão/retorno é a medida F (modo de ponderação harmônica): Pessoas normalmente usam a medida balanceada F 1 i.e., com = 1 ou = ½ Modo harmônico é uma média conservadora Veja CJ van Rijsbergen, Information Retrieval Sec. 8.3

17 Introduction to Information Retrieval 17 F 1 e outras médias Sec. 8.3

18 Introduction to Information Retrieval 18 Avaliando resultados rankeados Avaliação de resultados rankeados: O sistema pode retornar qualquer número de resultados Por pegar vários dos top documentos retornados (nível de retorno), o avaliador pode produzir uma curva precisão/retorno Sec. 8.4

19 Introduction to Information Retrieval 19 Uma curva precisão-retorno Sec. 8.4

20 Introduction to Information Retrieval 20 Calculando a média sobre consultas Um gráfico precisão-retorno para uma consulta não é uma coisa muito sensata de olhar Você precisa fazer o cálculo da média de performace sobre uma grande grupo de consultas. Mas existe um problema técnico: Cálculos de precisão-retorno colocam alguns pontos no gráfico Como determinar um valor (interpolado) entre os pontos? Sec. 8.4

21 Introduction to Information Retrieval 21 Precisão interpolada Idéia: Se aumenta localmente a precisão com retorno aumentando, então você deve levar em conta isto Então você tem o maximo de precisão para a direita dos valores Sec. 8.4

22 Introduction to Information Retrieval 22 Avaliação Gráficos são bons, mas pessoas querem medidas de resumo! Precisão no nível de recuperação fixo Precisão-em-k: Precisão dos top k resultados Talvez apropriado para a maioria das buscas web: o que todo mundo quer são boas combinações na primeira ou segunda páginas de resultados Mas: calcula mal a média e tem o parâmetro arbitrario de k Média de Precisão interpolada de ponto 11 A medida padrão em competições atuais TREC : você pega a precisão em 11 pontos de recuperação variando de 0 a 1 por décimos de documentos, usando interpolação (o valor para 0 é sempre interpolado!), e calcula a média deles Avalia a performace de todos os níveis de retorno Sec. 8.4

23 Introduction to Information Retrieval 23 Tipicas (boas) precisões de 11 pontos Precisão SabIR/Cornell 8A1 11pt para TREC 8 (1999) Sec. 8.4

24 Introduction to Information Retrieval 24 Mais medidas de avaliação… Meio termo da precisão média (MAP – Mean Average Precision) Média do valor de precisão obtido para os top k documentos, cada vez que um documento relevante é recuperado Evita interpolação, use níveis de retorno fixo MAP para coleção de consulta é média aritmética Macro-média: cada consulta conta igualmente Para cada consulta (pegamos os k documentos), calculamos a precisão obtida. Ao final calculamos a média da precisão de todas as consultas. Precisão R Se é conhecido (embora talvez incompleta) o conjunto de documentos relevantes de tamanho Rel, então calcula a precisão dos top Rel documentos retornados Sistema perfeito pode pontuar 1.0. Sec. 8.4

25 Introduction to Information Retrieval 25 Variação Para uma coleção de teste, é usual que um sistema seja pobre em alguma necessidade de informação (ex., MAP = 0.1) e excelente em outras (ex., MAP = 0.7) De fato,é normal o caso em que a variação da performance do mesmo sistema em todas as consultas é muito maior do que a variação de diferentes sistemas na mesma consulta. Ou seja, há necessidade de informações fáceis e difíceis! Sec. 8.4

26 Introduction to Information Retrieval CRIANDO COLEÇÕES DE TESTES PARA AVALIAÇÃO DE RI

27 Introduction to Information Retrieval 27 Coleções de teste Sec. 8.5

28 Introduction to Information Retrieval 28 De coleções de documentos para coleções de teste Ainda precisa Consultas de teste Avaliações de relevância Consultas de teste Deve ser pertinente para documentos disponíveis Consultas relacionadas a engenharia em um domínio de engenharia Melhor concebido por especialistas do domínio Termos de consulta aleatórios geralmente não é uma boa idéia Avaliações de relevância Julgamento por homem, consumo de tempo Sec. 8.5

29 Introduction to Information Retrieval 29 Unidade de avaliação Podemos computar precisão, retorno, F, e curva ROC para diferentes unidades. Unidades possíveis Documentos (mais comum) Fatos (usado em algumas avaliações TREC) Entidades (ex., companhias de carro) Pode produzir resultados diferentes. Por quê? Sec. 8.5

30 Introduction to Information Retrieval 30 Medida Kappa para inter-julgar (des)acordo Medida Kappa Medida de acordo entre julgadores Projetado para julgamentos categóricos Corrige a probabilidade de acordo (Corrects for chance agreement) Kappa = [ P(A) – P(E) ] / [ 1 – P(E) ] P(A) – proporção de vezes que os julgadores concordam P(E) – quando o acordo ocorre por acaso Kappa = 0 por acaso, 1 para acordo total. Sec. 8.5

31 Introduction to Information Retrieval 31 Medida Kappa: Exemplo Número de documentos Julgador 1Julgador 2 300Relevante 70Não relevante 20RelevanteNão relevante 10Não relevanteRelevante P(A)? P(E)? Sec. 8.5

32 Introduction to Information Retrieval 32 Exemplo Kappa P(A) = 370/400 = P(não relevante) = ( )/800 = P(relevante) = ( )/800 = P(E) = ^ ^2 = Kappa = (0.925 – 0.665)/( ) = Kappa > 0.8 = bom acordo 0.67 conclusões preliminares (Carletta 96) Depende do propósito de estudo Para >2 julgadores: média de pares kappas Sec. 8.5

33 Introduction to Information Retrieval 33

34 Introduction to Information Retrieval 34 TREC Tarefa ad hoc TREC para os primeiros 8 TRECs é tarefa padrão de RI 50 informações necessárias detalhadas de um ano Avaliação humana de resultados retornados agrupados Mais recentemente outras coisas relacionadas: Web track, HARD Uma consulta TREC (TREC 5) Número: 225 Descrição: Qual é a função principal da Federal Emergency Management Agency (FEMA) e o nível de financiamento previsto para atender situações de emergência? E também, que recursos estão disponíveis para a FEMA tais como pessoas, equipamentos, facilidades? Sec. 8.2

35 Introduction to Information Retrieval Benchmarks padrões de relevância: Outros GOV2 Outra coleção TREC/NIST 25 milhões de páginas web Maior coleção que é facilmente disponível Mas ainda menor em índice que Google/Yahoo/MSN em 3 ordens de magnitude NTCIR Idioma do leste asiático e recuperação de informação multilíngüe Cross Language Evaluation Forum (CLEF) Esta série de avaliações é concentrada em idiomas europeus e recuperação de informação multilíngüe. Muitos outros 35 Sec. 8.2

36 Introduction to Information Retrieval 36 Acordo entre julgadores: TREC 3 Sec. 8.5

37 Introduction to Information Retrieval 37 Impacto do acordo entre julgadores Impacto na medida de performance absoluta pode ser significativo (0.32 vs 0.39) Pouco impacto no rankeamento de sistemas diferentes ou performance relativa Suponha que nós queremos saber se um algoritmo A é melhor que o algoritmo B Um experimento de recuperação de informação padrão nos dará uma resposta confiável para esta questão. Sec. 8.5

38 Introduction to Information Retrieval 38 Critica da relevância pura Relevância vs Relevância marginal Um documento pode ser redundante mesmo se for altamente relevante Duplicatas A mesma informação de diferentes fontes Relevância marginal é uma melhor medida de utilidade para o usuário. Usando fatos/entidades como unidades de avaliação mais diretamente mede a verdadeira relevância. Mas, mais difícil para criar um conjunto de avaliação Veja a referência Carbonell Sec

39 Introduction to Information Retrieval 39 Podemos evitar o julgamento humano? Não Deixa o trabalho experimental difícil Especialmente em larga escala Em algumas configurações muito específicas, podemos usar proxies Ex.: para recuperação aproximada de espaço vetorial, nós podemos comparar a proximidade de distância por cosseno dos documentos mais próximos daqueles encontrados por um algoritmo de recuperação aproximada Mas, uma vez que testamos coleções, podemos reusá-las (contanto que nós não a super treinarmos muito mal) Sec

40 Introduction to Information Retrieval Avaliação em grandes mecanismos de busca Mecanismos de busca possuem coleções de teste, de consultas e resultados rankeados à mão Retorno é difícil para medir na web Mecanismos de busca freqüentemente usam precisão dos top k, ex., k = Ou medidas que recompensam você mais por receber o rank 1 direito do que receber o rank 10 direito. NDCG (Normalized Cumulative Discounted Gain) Mecanismos de busca também usam medidas baseadas na não- relevância. Cliques no primeiro resultado Não muito confiável se você olhar em um simples clique … mas razoavelmente confiável no conjunto. Estudos do comportamento do usuários em laboratório Teste A/B 40 Sec

41 Introduction to Information Retrieval Teste A/B Propósito: Testa uma inovação única Pré-requisito: Você tem um grande mecanismo de busca em funcionamento. Possui a maioria dos usuários utilizando o sistema antigo Desvia uma pequena parte do tráfego (ex., 1%) para o novo sistema que inclui a inovação Avalia com uma medida automática como cliques no primeiro resultado Podemos agora verificar diretamente se a inovação melhora a felicidade do usuário. Provavelmente a metodologia de avaliação que grandes mecanismos de busca confiam mais A principio menos poderoso que fazer um análise de regressão multivariada, mas, mais fácil de entender 41 Sec

42 Introduction to Information Retrieval APRESENTAÇÃO DOS RESULTADOS 42 Sec. 8.7

43 Introduction to Information Retrieval 43 Resumo dos resultados Tendo rankeado os documentos que correspondem com a consulta, nós queremos apresentá-los em uma lista de resultados Mais comumente, uma lista dos títulos de documentos mais um breve resumo, conhecido como os 10 links azuis Sec. 8.7

44 Introduction to Information Retrieval 44 Resumos O título é freqüentemente extraído automaticamente do metadado do documento. E sobre os resumos? A descrição é crucial. Usuário pode identificar hits como bom/relevante baseando-se na descrição. Dois tipos básicos: Estático Dinâmico Um resumo estático de um documento é sempre o mesmo, independentemente da consulta que trouxe o documento Um resumo dinâmico é uma tentativa dependente de consulta para explicar porque o documento foi recuperado para a consulta em questão Sec. 8.7

45 Introduction to Information Retrieval 45 Resumos estáticos Em sistemas típicos, o resumo estático é um subconjunto do documento Heurística simples: as primeiras 50 (ou outro valor – pode ser variado) palavras do documento Resumo é pegado na hora da indexação Mais sofisticado: extrair de cada documento um conjunto de sentenças chave Heurística NLP simples para pontuar cada sentença Resumo é composto de frases com maior pontuação. O mais sofisticado: NLP usado para sintetizar um resumo Raramente usado em RI; cf. sumarização de texto funciona (cf. summarization work) Sec. 8.7

46 Introduction to Information Retrieval 46 Resumos dinâmicos Apresenta uma ou mais janelas no documento que contém muitos dos termos da consulta Fragmentos KWIC : Palavra chave na apresentação do Contexto Sec. 8.7

47 Introduction to Information Retrieval Técnicas para resumos dinâmicos Encontre pequenas janelas no documento que contém os termos da consulta Requer procura rápida de janela no cache do documento Pontua cada janela da consulta (Score each window wrt query) Usa várias características como tamanho de janela, posição no documento, etc. Combina recursos através de uma função de pontuação Desafios na avaliação: julgar resumos Mais fácil fazer comparações de pareamento (pairwise) do que avaliações de relevância binárias 47 Sec. 8.7

48 Introduction to Information Retrieval Quicklinks Para um consulta navegacional como united airlines a necessidade dos usuários provavelmente serão satisfeitas por Quicklinks provêem dicas navegacionais em suas páginas principais 48

49 Introduction to Information Retrieval 49

50 Introduction to Information Retrieval Apresentação alternativa de resultados? Uma área ativa na pesquisa IHC Uma alternativa: / copia a idéia do Apples Cover Flow para resultados de buscahttp://www.searchme.com / (searchme recentemente ficou fora de serviço) 50

51 Introduction to Information Retrieval 51 Resources for this lecture IIR 8 MIR Chapter 3 MG 4.5 Carbonell and Goldstein The use of MMR, diversity-based reranking for reordering documents and producing summaries. SIGIR 21.


Carregar ppt "Introduction to Information Retrieval Introduction to Information Retrieval CS276 Information Retrieval and Web Search Christopher Manning and Prabhakar."

Apresentações semelhantes


Anúncios Google