Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouJoana Meneses Madeira Alterado mais de 8 anos atrás
1
Medidas de Avaliação
2
Para a maioria dos sistemas computacionais é necessário criar medidas para aferir sua eficácia e eficiência; A medida mais comum é o tempo e o espaço. Quanto menor o tempo de resposta e menor o espaço de memória (em disco ou RAM) necessário, melhor será o sistema; Em sistemas de recuperação de informação as buscas dos usuários são inerentemente vagas e os documentos recuperados não são exatos e precisam ser ordenados (“rankiados”) de acordo com sua relevância em relação à expressão de busca.
3
Medidas de Avaliação O que se almeja ao fazer uma busca em uma base documental é encontrar documentos que sejam úteis para satisfazer a uma necessidade de informação, evitando recuperar itens inúteis; “Relevante”, “pertinente” são termos frequentemente utilizados para se referir a itens “úteis”;
4
Medidas de Avaliação Após a execução de uma busca, pode-se dividir os documentos do corpus nos seguintes conjuntos: Relevantesnão-Relevantes Recuperados não recuperados
5
Medidas de Avaliação Documentos úteis para atender a necessidade de informação do usuário Documentos que não são úteis para o usuário Para qualquer necessidade sempre haverá mais documentos não úteis (-) do que úteis (+); O problema está em recuperar o maior número possível de itens úteis e o menor número possível de itens inúteis; O quadrado menor representa o resultado de uma busca.
6
Medidas de Avaliação precisão (precision) Foram recuperados 20 itens, sendo 6 úteis e 14 inúteis Precisão = 30% Expressa o quanto o sistema é capaz de recuperar apenas itens úteis.
7
Medidas de Avaliação revocação (recall) Expressa o quanto o sistema é capaz de recuperar todos os itens úteis. Revocação = 50% Dos 12 documentos existente no corpus, apenas 6 foram recuperados
8
Medidas de Avaliação revocação x precisão Para melhorar a revocação deve-se fazer uma busca mais genérica, representado pelo quadrado maior. Revocação Precisão
9
Medidas de Avaliação Revocação x Precisão
10
Medidas de Avaliação Apesar de muito utilizadas, as medidas de Precisão e Revocação apresentam alguns problemas: ◦ A revocação máxima para uma determinada busca requer um conhecimento de todos documentos do corpus. Para bases documentais muito grandes isso é impossível; ◦ Precisão e Revocação avaliam diferentes aspectos do corpus. Seria apropriado uma única medida que combinasse as duas;
11
Medidas de Avaliação outras medidas Média harmônica Medida E Calcula a média harmônica entre as medidas Precisão ( P ) e Revocação ( r ) Esta medida permite ao usuário escolher se ele está mais interessado em Revocação ou em Precisão. b > 1 o usuário está mais interessado em precisão. b < 1 o usuário está mais interessado em revocação
12
Medidas de Avaliação medidas orientadas ao usuário As medidas Revocação e Precisão são baseadas na suposição que o conjunto de documentos relevantes para uma busca é o mesmo, independente do usuário. Porém, diferentes usuários podem ter uma interpretação diferente de qual documento é relevante ou qual não é. Para enfrentar esse problema, algumas medidas “orientadas ao usuário” foram criadas.
13
Medidas de Avaliação medidas orientadas ao usuário Cobertura ( coverage ) ◦ Expressa a quantidade de documentos relevantes (conhecidos) pelo usuário que foram recuperados; ◦ Um alto valor de coverage indica que o sistema está encontrando a maioria dos documentos relevantes que o usuário esperava. Novidade, descoberta ( novelty ) ◦ Expressa a quantidade de documentos relevantes recuperados que não eram conhecidos (previamente) pelo usuário; ◦ Um alto valor de novelty indica que o sistema está revelando para o usuário muitos novos documentos relevantes que eram desconhecidos para ele.
14
Coleções para Teste
15
Críticas à Information Retrieval ◦ Falta fundamentação básica A natureza subjetiva à tarefa de decidir a relevância de um documento dificulta uma fundamentação teórica ◦ Carece de “campo de provas” e medidas consistentes Anos de 1990. Conferência anual chamada TREC (Text REtrieval Conference) dedicada a experimentação com uma grande coleção de teste composta de milhões de documentos;
16
Coleções para Teste TREC ◦ Coleção de documentos de diversas fontes Wall Street Journal Associated Press US Patents Financial Times etc... CACM ◦ Coleção de artigos publicados no periódico Communications of the ACM, cujo primeiro número foi publicado em 1958; ◦ Primeiro periódico em Ciência da Computação; ISI ◦ Institute of Scientific Information (ISI) ◦ 1460 documentos
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.