A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

CS276 Information Retrieval and Web Search

Apresentações semelhantes


Apresentação em tema: "CS276 Information Retrieval and Web Search"— Transcrição da apresentação:

1 CS276 Information Retrieval and Web Search
Christopher Manning and Prabhakar Raghavan Lecture 8: Evaluation

2 Nesta Aula Como sabemos se nosso resultado é bom?
Sec. 6.2 Nesta Aula Como sabemos se nosso resultado é bom? Avaliando um mecanismo de busca Benchmarks Precisão e retorno Resumo dos resultados: Fazendo os bons resultados utilizáveis para o usuário

3 Avaliando MeCANISMOS de busca

4 Medidas para um mecanismo de busca
Sec. 8.6 Medidas para um mecanismo de busca Quão rápido é a indexação Número de documentos/hora (Tamanho médio de documento) Quão rápido é a busca Latência em função do tamanho de índice Expressividade da linguagem de consulta Capacidade de expressar a necessidade de informações complexas Velocidade em consultas complexas UI ordenado (Uncluttered UI) É grátis?

5 Medidas para um mecanismo de busca
Sec. 8.6 Medidas para um mecanismo de busca Todos os critérios anteriores são mensuráveis: podemos quantificar a velocidade/tamanho Nós podemos fazer expressividade precisa A medida-chave: a felicidade do usuário O que é isso? Velocidade de resposta / tamanho do índice são fatores Mas mesmo que incrivelmente rápidas, respostas inúteis não deixarão um usuário feliz Precisamos de uma forma de quantificar a felicidade do usuário

6 Medindo a felicidade de usuário
Sec Medindo a felicidade de usuário Questão: quem é o usuário que estamos tentando fazer feliz? Depende da configuração Sistema Web: Usuário encontra o que quer e retorna ao sistema Pode medir a taxa de retorno de usuários Usuário conclui a sua tarefa - a pesquisa como um meio, não fim Veja Russell Site de eCommerce: usuário encontra o que quer e compra É do usuário final, ou do site eCommerce, cuja felicidade se mede? Medida do tempo para comprar, ou fração de usuáris que se tornam compradores?

7 Medindo a felicidade de usuário
Sec Medindo a felicidade de usuário Empresas (companhias/governo/academia): Se preocupam sobre “produtividade do usuário” Quanto tempo meus usuários economizam quando procuram por informação? Muitos outros critérios têm a ver com a largura de acesso, acesso seguro, etc

8 Felicidade: não há como medir
Sec. 8.1 Felicidade: não há como medir Representante mais comum: relevância dos resultados de busca Mas como medir relevância? Vamos detalhar a metodologia aqui, em seguida, analisar os seus problemas Medição da relevância requer 3 elementos: Uma coleção de documentos de referência Um conjunto referência de consultas Uma avaliação, geralmente binária, de Relevante ou Não-Relevante para cada consulta e cada documento Alguns trabalham com mais que binário, mas não é o padrão

9 Avaliando um sistema de RI
Sec. 8.1 Avaliando um sistema de RI Nota: a necessidade de informação é traduzida em uma consulta A relevância é avaliada em relação à informação necessária não a consulta Por exemplo, informação necessária: Estou procurando informações sobre se beber vinho tinto é mais eficaz para reduzir o risco de ataques cardíacos do que o vinho branco. Consulta: vinho branco vermelho ataque cardíaco eficaz Avaliar se o documento aborda a informação necessário, não se possui estas palavras

10 Medida de relevância padrão
Sec. 8.2 Medida de relevância padrão TREC - National Institute of Standards and Technology (NIST) rodou um grande teste base de RI por muitos anos Reuters e outras coleções de documentos de referência usados “Tarefas de recuperação” especificadas As vezes como consultas Um expert marca, para cada consulta e cada documento, Relevante ou Não-relevante ou pelo menos um subconjunto de documentos que alguns sistemas retornam para a consulta

11 Avaliação de recuperação não rankeada: Precisão ou Retorno
Sec. 8.3 Avaliação de recuperação não rankeada: Precisão ou Retorno Precisão: fração de documentos recuperados que são relevantes = P(relevante|recuperado) Retorno: fração de documentos relevantes que são recuperados = R(recuperado|relevante) Precisão P = tp/(tp + fp) Retorno R = tp/(tp + fn) Relevante Não-relevante Recuperado tp fp Não recuperado fn tn

12 Nós devemos, ao invés, medida de precisão para a avaliação?
Sec. 8.3 Nós devemos, ao invés, medida de precisão para a avaliação? Dada uma consulta, um sistema classifica cada documento como “Relevante” ou “Não-relevante” A precisão de um sistema: a fração destas classificações são corretas (tp + tn) / ( tp + fp + fn + tn) = exatidão Precisão é uma medida de avaliação comumente usada em trabalhos de classificação de máquinas de aprendizagem Por que não é uma medida de avaliação muito útil em RI?

13 Por que não usar precisão?
Sec. 8.3 Por que não usar precisão? Como construir um sistema de busca com precisão de % com baixo orçamento…. Pessoas que fazem recuperação de informação querem encontrar alguma coisa e tem uma certa tolerância a lixo. Snoogle.com Search for: 0 matching results found.

14 Sec. 8.3 Precisão/Retorno Você pode ter alto retorno (mas baixa precisão) ao recuperar todos os documentos para todas as consultas! Retorno é uma função crescente de número de documentos recuperados Em um bom sistema, quando a precisão decresce o número de documentos recuperados aumenta (retorno aumenta) Isto não é um teorema, mas um resultado com forte confirmação empírica

15 Dificuldade no uso da precisão/retorno
Sec. 8.3 Dificuldade no uso da precisão/retorno Precisa da decisão humana de relevância Pessoas não são assessores confiáveis Decisão tem que ser binária Decisões com nuances? Fortemente enviesado por coleção/autoria Resultados podem não traduzir de um domínio para outro

16 Uma medida combinada: F
Sec. 8.3 Uma medida combinada: F Medida combinada que avalia o intercâmbio precisão/retorno é a medida F (modo de ponderação harmônica): Pessoas normalmente usam a medida balanceada F1 i.e., com  = 1 ou  = ½ Modo harmônico é uma média conservadora Veja CJ van Rijsbergen, Information Retrieval

17 Sec. 8.3 F1 e outras médias

18 Avaliando resultados rankeados
Sec. 8.4 Avaliando resultados rankeados Avaliação de resultados rankeados: O sistema pode retornar qualquer número de resultados Por pegar vários dos top documentos retornados (nível de retorno), o avaliador pode produzir uma curva precisão/retorno

19 Uma curva precisão-retorno
Sec. 8.4 Uma curva precisão-retorno

20 Calculando a média sobre consultas
Sec. 8.4 Calculando a média sobre consultas Um gráfico precisão-retorno para uma consulta não é uma coisa muito sensata de olhar Você precisa fazer o cálculo da média de performace sobre uma grande grupo de consultas. Mas existe um problema técnico: Cálculos de precisão-retorno colocam alguns pontos no gráfico Como determinar um valor (interpolado) entre os pontos?

21 Sec. 8.4 Precisão interpolada Idéia: Se aumenta localmente a precisão com retorno aumentando, então você deve levar em conta isto Então você tem o maximo de precisão para a direita dos valores

22 Avaliação Gráficos são bons, mas pessoas querem medidas de resumo!
Sec. 8.4 Avaliação Gráficos são bons, mas pessoas querem medidas de resumo! Precisão no nível de recuperação fixo Precisão-em-k: Precisão dos top k resultados Talvez apropriado para a maioria das buscas web: o que todo mundo quer são boas combinações na primeira ou segunda páginas de resultados Mas: calcula mal a média e tem o parâmetro arbitrario de k Média de Precisão interpolada de ponto 11 A medida padrão em competições atuais TREC : você pega a precisão em 11 pontos de recuperação variando de 0 a 1 por décimos de documentos, usando interpolação (o valor para 0 é sempre interpolado!), e calcula a média deles Avalia a performace de todos os níveis de retorno

23 Tipicas (boas) precisões de 11 pontos
Sec. 8.4 Tipicas (boas) precisões de 11 pontos Precisão SabIR/Cornell 8A1 11pt para TREC 8 (1999)

24 Mais medidas de avaliação…
Sec. 8.4 Mais medidas de avaliação… Meio termo da precisão média (MAP – Mean Average Precision) Média do valor de precisão obtido para os top k documentos, cada vez que um documento relevante é recuperado Evita interpolação, use níveis de retorno fixo MAP para coleção de consulta é média aritmética Macro-média: cada consulta conta igualmente Para cada consulta (pegamos os k documentos), calculamos a precisão obtida. Ao final calculamos a média da precisão de todas as consultas. Precisão R Se é conhecido (embora talvez incompleta) o conjunto de documentos relevantes de tamanho Rel, então calcula a precisão dos top Rel documentos retornados Sistema perfeito pode pontuar 1.0.

25 Sec. 8.4 Variação Para uma coleção de teste, é usual que um sistema seja pobre em alguma necessidade de informação (ex., MAP = 0.1) e excelente em outras (ex., MAP = 0.7) De fato,é normal o caso em que a variação da performance do mesmo sistema em todas as consultas é muito maior do que a variação de diferentes sistemas na mesma consulta. Ou seja, há necessidade de informações fáceis e difíceis!

26 CRIANDO COLEÇÕES DE TESTES PARA AVALIAÇÃO DE RI

27 Sec. 8.5 Coleções de teste

28 De coleções de documentos para coleções de teste
Sec. 8.5 De coleções de documentos para coleções de teste Ainda precisa Consultas de teste Avaliações de relevância Deve ser pertinente para documentos disponíveis Consultas relacionadas a engenharia em um domínio de engenharia Melhor concebido por especialistas do domínio Termos de consulta aleatórios geralmente não é uma boa idéia Julgamento por homem, consumo de tempo

29 Sec. 8.5 Unidade de avaliação Podemos computar precisão, retorno, F, e curva ROC para diferentes unidades. Unidades possíveis Documentos (mais comum) Fatos (usado em algumas avaliações TREC) Entidades (ex., companhias de carro) Pode produzir resultados diferentes. Por quê?

30 Medida Kappa para inter-julgar (des)acordo
Sec. 8.5 Medida Kappa para inter-julgar (des)acordo Medida Kappa Medida de acordo entre julgadores Projetado para julgamentos categóricos Corrige a probabilidade de acordo (Corrects for chance agreement) Kappa = [ P(A) – P(E) ] / [ 1 – P(E) ] P(A) – proporção de vezes que os julgadores concordam P(E) – quando o acordo ocorre por acaso Kappa = 0 por acaso, 1 para acordo total.

31 Medida Kappa: Exemplo P(A)? P(E)? Número de documentos Julgador 1
Sec. 8.5 P(A)? P(E)? Medida Kappa: Exemplo Número de documentos Julgador 1 Julgador 2 300 Relevante 70 Não relevante 20 10

32 Sec. 8.5 Exemplo Kappa P(A) = 370/400 = 0.925 P(não relevante) = ( )/800 = P(relevante) = ( )/800 = P(E) = ^ ^2 = 0.665 Kappa = (0.925 – 0.665)/( ) = 0.776 Kappa > 0.8 = bom acordo 0.67 < Kappa < 0.8 -> “conclusões preliminares” (Carletta ’96) Depende do propósito de estudo Para >2 julgadores: média de pares kappas

33

34 Sec. 8.2 TREC Tarefa ad hoc TREC para os primeiros 8 TRECs é tarefa padrão de RI 50 informações necessárias detalhadas de um ano Avaliação humana de resultados retornados agrupados Mais recentemente outras coisas relacionadas: Web track, HARD Uma consulta TREC (TREC 5) <top> <num> Número: 225 <desc> Descrição: Qual é a função principal da Federal Emergency Management Agency (FEMA) e o nível de financiamento previsto para atender situações de emergência? E também, que recursos estão disponíveis para a FEMA tais como pessoas, equipamentos, facilidades? </top>

35 Benchmarks padrões de relevância: Outros
Sec. 8.2 Benchmarks padrões de relevância: Outros GOV2 Outra coleção TREC/NIST 25 milhões de páginas web Maior coleção que é facilmente disponível Mas ainda menor em índice que Google/Yahoo/MSN em 3 ordens de magnitude NTCIR Idioma do leste asiático e recuperação de informação multilíngüe Cross Language Evaluation Forum (CLEF) Esta série de avaliações é concentrada em idiomas europeus e recuperação de informação multilíngüe. Muitos outros

36 Acordo entre julgadores: TREC 3
Sec. 8.5 Acordo entre julgadores: TREC 3 Topic is TREC topic Judged is number of documents that human assessors judged Diff is the number that they disagreed on. NR and R are whether those were eventually classified as relevant or nonrelevant.

37 Impacto do acordo entre julgadores
Sec. 8.5 Impacto do acordo entre julgadores Impacto na medida de performance absoluta pode ser significativo (0.32 vs 0.39) Pouco impacto no rankeamento de sistemas diferentes ou performance relativa Suponha que nós queremos saber se um algoritmo A é melhor que o algoritmo B Um experimento de recuperação de informação padrão nos dará uma resposta confiável para esta questão.

38 Critica da relevância pura
Sec Critica da relevância pura Relevância vs Relevância marginal Um documento pode ser redundante mesmo se for altamente relevante Duplicatas A mesma informação de diferentes fontes Relevância marginal é uma melhor medida de utilidade para o usuário. Usando fatos/entidades como unidades de avaliação mais diretamente mede a verdadeira relevância. Mas, mais difícil para criar um conjunto de avaliação Veja a referência Carbonell

39 Podemos evitar o julgamento humano?
Sec Podemos evitar o julgamento humano? Não Deixa o trabalho experimental difícil Especialmente em larga escala Em algumas configurações muito específicas, podemos usar proxies Ex.: para recuperação aproximada de espaço vetorial, nós podemos comparar a proximidade de distância por cosseno dos documentos mais próximos daqueles encontrados por um algoritmo de recuperação aproximada Mas, uma vez que testamos coleções, podemos reusá-las (contanto que nós não a super treinarmos muito mal)

40 Avaliação em grandes mecanismos de busca
Sec Avaliação em grandes mecanismos de busca Mecanismos de busca possuem coleções de teste, de consultas e resultados rankeados à mão Retorno é difícil para medir na web Mecanismos de busca freqüentemente usam precisão dos top k, ex., k = 10 . . . Ou medidas que recompensam você mais por receber o rank 1 direito do que receber o rank 10 direito. NDCG (Normalized Cumulative Discounted Gain) Mecanismos de busca também usam medidas baseadas na não-relevância. Cliques no primeiro resultado Não muito confiável se você olhar em um simples clique … mas razoavelmente confiável no conjunto. Estudos do comportamento do usuários em laboratório Teste A/B Not very reliable if you look at a single clickthrough (you may realize after clicking that the summary was misleading and the document is nonrelevant) . . .

41 Teste A/B Propósito: Testa uma inovação única
Sec Teste A/B Propósito: Testa uma inovação única Pré-requisito: Você tem um grande mecanismo de busca em funcionamento. Possui a maioria dos usuários utilizando o sistema antigo Desvia uma pequena parte do tráfego (ex., 1%) para o novo sistema que inclui a inovação Avalia com uma medida “automática” como cliques no primeiro resultado Podemos agora verificar diretamente se a inovação melhora a felicidade do usuário. Provavelmente a metodologia de avaliação que grandes mecanismos de busca confiam mais A principio menos poderoso que fazer um análise de regressão multivariada, mas, mais fácil de entender

42 APRESENTAÇÃO DOS RESULTADOS
Sec. 8.7 APRESENTAÇÃO DOS RESULTADOS

43 Sec. 8.7 Resumo dos resultados Tendo rankeado os documentos que correspondem com a consulta, nós queremos apresentá-los em uma lista de resultados Mais comumente, uma lista dos títulos de documentos mais um breve resumo, conhecido como “os 10 links azuis”

44 Sec. 8.7 Resumos O título é freqüentemente extraído automaticamente do metadado do documento. E sobre os resumos? A descrição é crucial. Usuário pode identificar hits como bom/relevante baseando-se na descrição. Dois tipos básicos: Estático Dinâmico Um resumo estático de um documento é sempre o mesmo, independentemente da consulta que trouxe o documento Um resumo dinâmico é uma tentativa dependente de consulta para explicar porque o documento foi recuperado para a consulta em questão

45 Sec. 8.7 Resumos estáticos Em sistemas típicos, o resumo estático é um subconjunto do documento Heurística simples: as primeiras 50 (ou outro valor – pode ser variado) palavras do documento Resumo é pegado na hora da indexação Mais sofisticado: extrair de cada documento um conjunto de sentenças “chave” Heurística NLP simples para pontuar cada sentença Resumo é composto de frases com maior pontuação. O mais sofisticado: NLP usado para sintetizar um resumo Raramente usado em RI; cf. sumarização de texto funciona (cf. summarization work)

46 Sec. 8.7 Resumos dinâmicos Apresenta uma ou mais “janelas” no documento que contém muitos dos termos da consulta Fragmentos “KWIC” : Palavra chave na apresentação do Contexto

47 Técnicas para resumos dinâmicos
Sec. 8.7 Técnicas para resumos dinâmicos Encontre pequenas janelas no documento que contém os termos da consulta Requer procura rápida de janela no cache do documento Pontua cada janela da consulta (Score each window wrt query) Usa várias características como tamanho de janela, posição no documento, etc. Combina recursos através de uma função de pontuação Desafios na avaliação: julgar resumos Mais fácil fazer comparações de pareamento (pairwise) do que avaliações de relevância binárias

48 Quicklinks Para um consulta navegacional como united airlines a necessidade dos usuários provavelmente serão satisfeitas por Quicklinks provêem dicas navegacionais em suas páginas principais

49

50 Apresentação alternativa de resultados?
Uma área ativa na pesquisa IHC Uma alternativa: / copia a idéia do Apple’s Cover Flow para resultados de busca (searchme recentemente ficou fora de serviço) For the moment, the search engine market has really coalesced around one dominant style (consistency has strong benefits – Jakob Nielsen.

51 Resources for this lecture
IIR 8 MIR Chapter 3 MG 4.5 Carbonell and Goldstein The use of MMR, diversity-based reranking for reordering documents and producing summaries. SIGIR 21.


Carregar ppt "CS276 Information Retrieval and Web Search"

Apresentações semelhantes


Anúncios Google