A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Medidas de Avaliação de Sistemas de Recuperação de Informação Eveline Alonso Veloso PUC-MINAS.

Apresentações semelhantes


Apresentação em tema: "Medidas de Avaliação de Sistemas de Recuperação de Informação Eveline Alonso Veloso PUC-MINAS."— Transcrição da apresentação:

1 Medidas de Avaliação de Sistemas de Recuperação de Informação Eveline Alonso Veloso PUC-MINAS

2 Referências BAEZA-YATES, Ricardo e RIBEIRO-NETO, Berthier. Modern Information Retrieval. 1ª edição, New York: ACM Press, 1999, capítulo 3.

3 Avaliação de Desempenho Métricas mais comumente utilizadas para avaliar o desempenho de sistemas de recuperação de informação: tempo de resposta; espaço utilizado.

4 Características Principais de Sistemas de Recuperação de Informação Necessidade de informação do usuário: ampla; vaga. Documentos recuperados não correspondem a uma resposta exata; devem ser ranqueados de acordo com suas relevâncias para a consulta. Principal diferença em relação a sistemas de recuperação de dados.

5 Avaliação da Estratégia de Recuperação de Informação Métricas que avaliam quão preciso é o conjunto-resposta. Avaliações baseiam-se em: coleções de referência; métricas de avaliação.

6 Coleção de Referência Consiste em: uma coleção de documentos; um conjunto de consultas de exemplo; para cada consulta de exemplo; um conjunto de documentos relevantes; normalmente indicado por especialistas.

7 TREC Conferência TREC: Text REtrieval Conference; web site: ocorre anualmente desde 1992; objetivo: apoiar a pesquisa na área de recuperação de informação; fornecendo a infra-estrutura necessária para a avaliação de metodologias de recuperação em grandes coleções de documentos textuais.

8 TREC Coleção de documentos: novas coleções TREC são publicadas a cada edição da conferência; diversas coleções; com milhões de documentos; documentos são extraídos de fontes como: Wall Street Journal; registros de patentes dos Estados Unidos; Financial Times; entre outros.

9 TREC Identificação dos documentos relevantes para as consultas de exemplo: a cada edição da conferência, seus participantes avaliam suas estratégias de recuperação de informação em uma nova coleção; processando as consultas de exemplo.

10 TREC Identificação dos documentos relevantes para as consultas de exemplo (continuação): os k primeiros documentos retornados por cada uma destas estratégias de recuperação de informação, para cada uma das consultas de exemplo, são selecionados. Em geral, k = 100 documentos. todos os documentos selecionados são então avaliados por especialistas; que decidem sobre a relevância destes documentos para a consulta; indicando assim o conjunto final de documentos relevantes para a consulta.

11 Outras Coleções de Referência Coleção CACM: artigos publicados no periódico Communications of the ACM; alguns milhares de documentos. Coleção Fibrose Cística: subconjunto da base de documentos MEDLINE; pouco mais de mil documentos.

12 Procedimento de Avaliação Dada uma estratégia de recuperação de informação, a métrica de avaliação quantifica; para cada consulta de exemplo da coleção de referência; a similaridade entre: o conjunto de documentos recuperados pela estratégia de recuperação de informação que está sendo avaliada e; o conjunto de documentos relevantes indicado pela coleção de referência. Isto provê uma estimativa da eficácia da estratégia de recuperação avaliada.

13 Precisão x Revocação Para uma consulta q: R: conjunto de documentos relevantes para q; |R| = número de elementos do conjunto R. A: conjunto-resposta para a consulta q; indicado pela estratégia de recuperação de informação que está sendo avaliada. |A| = número de elementos no conjunto A. R a : interseção entre os conjunto R e A; |R a | = número de elementos no conjunto R a. Coleção RARaRa

14 Revocação Fração dos documentos relevantes que foram recuperados:

15 Precisão Fração dos documentos recuperados que são relevantes:

16 Precisão x Revocação Em geral, o sistema de recuperação de informação não apresenta ao usuário todos os documentos do conjunto-resposta de uma única vez. Os documentos são ranqueados; e o usuário examina esta lista de documentos a partir do topo.

17 Precisão x Revocação Assim, medidas de precisão e revocação variam; à medida que o usuário avança em seu exame do conjunto-resposta. Por isso, é necessário avaliar a precisão; em diversos níveis de revocação; obtendo-se uma curva de precisão x revocação com 11 pontos de revocação; 0%, 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 100%.

18 Precisão x Revocação Muitas vezes, não conseguimos determinar a precisão nestes exatos 11 pontos de revocação. Nestes casos, utilizamos o seguinte mecanismo de interpolação: precisão no nível j de revocação: corresponde ao maior valor de precisão conhecido entre os níveis de revocação j e j+1.

19 Precisão x Revocação Além disso, geralmente, estratégias de recuperação de informação são avaliadas através do processamento de diversas consultas diferentes. Nestes casos, para cada consulta distinta; uma curva de precisão x revocação é criada. Em seguida, para cada um dos 11 pontos de revocação; fazemos a média dos valores de precisão encontrados, neste nível de revocação, para todas as consultas processadas. A curva resultante corresponde à curva de precisão x revocação que reflete o desempenho geral da estratégia de recuperação avaliada.

20 Exercício 1 – Documentos Relevantes Você está avaliando um novo algoritmo de recuperação de informação. Para esta avaliação, você usará uma coleção de referência que indica, para uma consulta q 1, o seguinte conjunto de documentos relevantes: d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123

21 Exercício 1 – Conjunto- resposta Para esta mesma consulta q 1, o novo algoritmo de recuperação de informação que está sendo avaliado retornou os seguintes documentos, nesta ordem de relevância para a consulta: d 123, d 84, d 56, d 6, d 8, d 9, d 511, d 129, d 187, d 25, d 38, d 48, d 250, d 113, d 3 Construa o gráfico de 11 pontos de precisão x revocação deste novo algoritmo de recuperação de informação, para a consulta q 1.

22 Exercício 2 – Documentos Relevantes Você decidiu agora avaliar este mesmo algoritmo de recuperação de informação utilizando, no entanto, uma outra coleção de referência que indica, para uma outra consulta q 2, o seguinte conjunto de documentos relevantes: d 5, d 64, d 110

23 Exercício 2 – Conjunto- resposta Utilizando esta segunda coleção de referência, o novo algoritmo de recuperação de informação que está sendo avaliado retornou, para a mesma consulta q 2, os seguintes documentos, nesta ordem de relevância: d 123, d 4, d 64, d 36, d 80, d 9, d 51, d 110, d 17, d 250, d 38, d 84, d 50, d 11, d 5 Construa o gráfico de 11 pontos de precisão x revocação deste algoritmo de recuperação de informação, para a consulta q 2.

24 Exercício 3 – Documentos Relevantes Considere que, em uma determinada coleção de referência, a resposta ideal para uma determinada consulta q 3, desta coleção de referência, seja composta pelos seguintes documentos: d 1, d 7, d 13, d 49.

25 Exercício 3 – Conjunto- resposta Considere também que um novo modelo de recuperação de informação está sendo avaliado e que a resposta encontrada por este novo modelo para a mesma consulta q 3 seja composta pelos seguintes documentos, nesta ordem: d 11, d 70, d 1, d 32, d 149, d 51, d 17, d 90, d 12, d 40, d 150, d 7, d 15, d 92, d 49, d 3, d 100, d 81, d 9, d 14. Construa o gráfico de precisão x revocação deste novo modelo de recuperação de informação, para a consulta q 3.


Carregar ppt "Medidas de Avaliação de Sistemas de Recuperação de Informação Eveline Alonso Veloso PUC-MINAS."

Apresentações semelhantes


Anúncios Google