A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides.

Apresentações semelhantes


Apresentação em tema: "Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides."— Transcrição da apresentação:

1 Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides

2 2 O que é? O sistemas de pesquisa habituais esperam dar-nos uma lista ordenada de documentos relevantes à pesquisa O sistemas de pesquisa habituais esperam dar-nos uma lista ordenada de documentos relevantes à pesquisa Este sistema pretende obter uma quantidade de texto bem mais pequena, nomeadamente, uma resposta directa à pergunta do utilizador Este sistema pretende obter uma quantidade de texto bem mais pequena, nomeadamente, uma resposta directa à pergunta do utilizador

3 3 Diferença

4 4 Exemplo: Quem descobriu Plutão? A pesquisa habitual devolve uma lista de documentos que são relevantes A pesquisa habitual devolve uma lista de documentos que são relevantes O utilizador provavelmente prefere ter uma lista de possíveis respostas juntamente com os documentos que as suportam O utilizador provavelmente prefere ter uma lista de possíveis respostas juntamente com os documentos que as suportam

5 5 Exemplos de respostas PerguntaOrdemResposta Who is the author of the book, The Iron Lady: A Biography of Margaret Thatcher? 2 Hugo Young What is the name of the managing director of Apricot Computer? 1 Dr Peter Horne What country is the biggest producer of tungsten? 1China Who was the first Taiwanese President? 1 Taiwanese President Li Teng hui When did Nixon visit China? How many calories are there in a Big Mac? calories What is the acronym for the rating system for air conditioner efficiency? 1 1 EER

6 6 Outros tipo de perguntas Perguntas quantitativas; e.g.: Quantas vezes é que o Estado aumentou as taxas de juros este ano? Perguntas quantitativas; e.g.: Quantas vezes é que o Estado aumentou as taxas de juros este ano? Etc. (os autores deixam muito trabalho para desenvolvimento futuro) Etc. (os autores deixam muito trabalho para desenvolvimento futuro)

7 O sistema de respostas

8 8 Processamento em duas etapas 1. Recuperação de informação – são recuperados os trechos mais prometedores dos documentos mais prometedores 2. Processamento linguístico – potenciais respostas são extraídas dos trechos e ordenadas

9 9 Componentes Recuperação de trechos Extracção de entidades Classificação de entidades Classificação da consulta Ordenação de entidades Recuperação de informação Processamento linguístico

10 Recuperação de trechos (passage retrieval)

11 11 Objectivo Identificar documentos relevantes Identificar documentos relevantes Dentro desses, identificar os trechos que maior probabilidade têm de conter a resposta à questão Dentro desses, identificar os trechos que maior probabilidade têm de conter a resposta à questão

12 12 Abordagem Os autores decidiram usar uma versão modificada do sistema SMART para obter os documentos relevantes Os autores decidiram usar uma versão modificada do sistema SMART para obter os documentos relevantes Definem-se trechos como sendo uma frase e as suas duas frases vizinhas (cada documento tem assim vários trechos que se sobrepõem) Definem-se trechos como sendo uma frase e as suas duas frases vizinhas (cada documento tem assim vários trechos que se sobrepõem)

13 13 Abordagem Chamemos S j á pontuação (score) da frase j Chamemos S j á pontuação (score) da frase j S j é a soma dos pesos IDF para todas as palavras que não sejam stop-words que partilha com a consulta, mais um bónus adicional por cada par de palavras que partilhem S j é a soma dos pesos IDF para todas as palavras que não sejam stop-words que partilha com a consulta, mais um bónus adicional por cada par de palavras que partilhem A pontuação de um trecho i é então dado por: A pontuação de um trecho i é então dado por: Os 50 trechos com maior pontuação são enviados ara processamento linguístico Os 50 trechos com maior pontuação são enviados ara processamento linguístico

14 Extracção de entidades

15 15 Objectivo Extrair um conjunto candidato de possíveis respostas a partir dos trechos Extrair um conjunto candidato de possíveis respostas a partir dos trechos

16 16 Abordagem Os autores decidiram usar o parser parcial Cass Os autores decidiram usar o parser parcial Cass Este devolve datas, durações, medidas lineares e quantidades Este devolve datas, durações, medidas lineares e quantidades Construíram também código especializado para extrair nomes próprios Construíram também código especializado para extrair nomes próprios

17 17 CASS

18 18 Extrair nomes próprios Classifica cada palavra em maiúsculas como intrinsecamente capitalizada ou não Classifica cada palavra em maiúsculas como intrinsecamente capitalizada ou não Palavras não intrinsecamente capitalizadas são as que se encontram ao início das frases ou em títulos e cabeçalhos Palavras não intrinsecamente capitalizadas são as que se encontram ao início das frases ou em títulos e cabeçalhos O extractor também usa várias heurísticas incluindo a consideração se as palavras aparecem sempre capitalizadas da mesma forma no resto do documento O extractor também usa várias heurísticas incluindo a consideração se as palavras aparecem sempre capitalizadas da mesma forma no resto do documento

19 Classificação de entidades

20 20 Objectivos O conjunto candidato de respostas é uma lista de entidades que caem em várias categorias incluindo O conjunto candidato de respostas é uma lista de entidades que caem em várias categorias incluindo –Pessoas –Localizações –Organizações –Quantidades –Datas –Medidas lineares As primeiras 3 categorias são obtidas a partir da extracção de nomes próprios As primeiras 3 categorias são obtidas a partir da extracção de nomes próprios

21 21 Classificação de nomes próprios Os autores usaram métodos descritos noutro artigo (Unsupervised models for named entity classification) para classificar nomes próprios em Os autores usaram métodos descritos noutro artigo (Unsupervised models for named entity classification) para classificar nomes próprios em –Pessoas –Localização –Organizações –Outros Esses métodos envolvem (entre outras coisas) saber se ao pé de cada nome existe Sr. (Pessoa), Lda. (Organização), etc. Esses métodos envolvem (entre outras coisas) saber se ao pé de cada nome existe Sr. (Pessoa), Lda. (Organização), etc.

22 22 Classificação de datas Todos os números com o aspecto Todos os números com o aspecto –1### –20## foram considerados anos Usou-se o Cass para extrair expressões mais complexas (e.g.: Sábado, 1 de Janeiro de 2000) Usou-se o Cass para extrair expressões mais complexas (e.g.: Sábado, 1 de Janeiro de 2000)

23 23 Classificação de quantidades Quantidades incluem números simples e expressões numéricas como Quantidades incluem números simples e expressões numéricas como –Os três mosqueteiros –9½ maçãs –27% Identifica-se também a palavra (unidade) associada às expressões (e.g.: mosqueteiros, maçãs, porcento) Identifica-se também a palavra (unidade) associada às expressões (e.g.: mosqueteiros, maçãs, porcento) Isto permite identificar respostas a perguntas como Quantos eram os mosqueteiros? Isto permite identificar respostas a perguntas como Quantos eram os mosqueteiros?

24 24 Classificação de durações e medidas São essencialmente casos especiais das quantidades em que a unidade é temporal ou de medida linear São essencialmente casos especiais das quantidades em que a unidade é temporal ou de medida linear E.g.: E.g.: –três anos –6 horas e meia –225 milhões de quilómetros –aproximadamente 360cm

25 25 Outras classificações Isto não cobre todas as classificações possíveis Isto não cobre todas as classificações possíveis Por exemplo, uma classificação de valores monetários (e.g.: 25 milhões de dólares) já foi adicionada pelos autores Por exemplo, uma classificação de valores monetários (e.g.: 25 milhões de dólares) já foi adicionada pelos autores

26 Classificação da consulta

27 27 Objectivo Determinar por que categoria está a consulta do utilizador a pedir Determinar por que categoria está a consulta do utilizador a pedir E.g.: E.g.: –Quem é o autor do livro O código DaVinci? seria uma consulta da categoria Pessoa

28 28 Abordagem Os autores, ao trabalhar na língua Inglesa, usaram as seguintes regras para determinar a categoria da consulta: Os autores, ao trabalhar na língua Inglesa, usaram as seguintes regras para determinar a categoria da consulta: Who, Whom Pessoa Who, Whom Pessoa Where, Whence, Whither Localização Where, Whence, Whither Localização How few, How great, How little, How many, How much Quantidade (também obtém a unidade para comparação posterior) How few, How great, How little, How many, How much Quantidade (também obtém a unidade para comparação posterior)

29 29 Abordagem How long Duração ou medida linear How long Duração ou medida linear How tall, How wide, How high, How big, How far Medida linear How tall, How wide, How high, How big, How far Medida linear Which, What extrai a unidade ou palavra associada e determina a categoria a partir daí; e.g.: Which, What extrai a unidade ou palavra associada e determina a categoria a partir daí; e.g.: –What company is the largest Japanese ship builder? company, Organização –What is the largest city in Germany? city, Localização

30 30 Abordagem Nas consultas sem estas palavras, e.g.: Nas consultas sem estas palavras, e.g.: –Name the largest city in Germany usa um principio semelhante às consultas what Às restantes consultas é atribuída a categoria genérica Qualquer (Any), que coincide com qualquer categoria Às restantes consultas é atribuída a categoria genérica Qualquer (Any), que coincide com qualquer categoria

31 Ordenação (ranking) de entidades

32 32 Objectivo Atribuir pontuações às entidades representando a crença que aquela entidade é a resposta correcta à consulta Atribuir pontuações às entidades representando a crença que aquela entidade é a resposta correcta à consulta

33 33 Pontuação Existem três componentes para a pontuação Existem três componentes para a pontuação O componente mais significativo é se as categorias da consulta e resposta são idênticas (a categoria Qualquer é idêntica a qualquer outra categoria) O componente mais significativo é se as categorias da consulta e resposta são idênticas (a categoria Qualquer é idêntica a qualquer outra categoria) Isto significa que respostas na mesma categoria têm sempre pontuação acima das respostas que não são na mesma categoria Isto significa que respostas na mesma categoria têm sempre pontuação acima das respostas que não são na mesma categoria

34 34 Pontuação: 2º componente Se a categoria da consulta é Data, e se ela contém as palavras dia ou mês, o segundo componente da pontuação ordena datas completas acima de anos; o inverso se a consulta contém a palavra ano Se a categoria da consulta é Data, e se ela contém as palavras dia ou mês, o segundo componente da pontuação ordena datas completas acima de anos; o inverso se a consulta contém a palavra ano Se a consulta é do tipo How many unidade, o segundo componente da pontuação ordena respostas com a mesma unidade Se a consulta é do tipo How many unidade, o segundo componente da pontuação ordena respostas com a mesma unidade Para outras consultas não existe segundo componente da pontuação Para outras consultas não existe segundo componente da pontuação

35 35 Pontuação: 3º componente O terceiro e menos significativo componente da pontuação é baseado na frequência e posição das ocorrências de uma dada entidade nos trechos obtidos O terceiro e menos significativo componente da pontuação é baseado na frequência e posição das ocorrências de uma dada entidade nos trechos obtidos Os trechos que obtiveram maior pontuação no componente de recuperação de trechos têm 10 pontos Os trechos que obtiveram maior pontuação no componente de recuperação de trechos têm 10 pontos Qualquer ocorrência de uma entidade em qualquer outro trecho conta 1 ponto (para comparação de entidades, elas são normalizadas; e.g.: as datas são transformadas em AAAA-MM-DD) Qualquer ocorrência de uma entidade em qualquer outro trecho conta 1 ponto (para comparação de entidades, elas são normalizadas; e.g.: as datas são transformadas em AAAA-MM-DD)

36 Avaliação do sistema TREC-8

37 37 Testes TREC-8 O sistema submeteu respostas a 198 perguntas de teste que foram avaliadas posteriormente por seres humanos O sistema submeteu respostas a 198 perguntas de teste que foram avaliadas posteriormente por seres humanos Foram feitas submissões de resultados com apenas as entidades, com trechos de até 50 bytes e com trechos de até 250 bytes Foram feitas submissões de resultados com apenas as entidades, com trechos de até 50 bytes e com trechos de até 250 bytes

38 38 Resultados Comprimento médio da resposta Resposta certa nas 5 primeiras Pontuação média Entidade 10,5 bytes 46%0,356 Trecho bytes 38,9%0,261 Trecho bytes 68%0,545

39 39 Exemplos de perguntas sem classificação What does the Peugeot company manufacture? What does the Peugeot company manufacture? Why did David Koresh ask the FBI for a word processor? Why did David Koresh ask the FBI for a word processor? What are the Valdez Principles? What are the Valdez Principles? What was the target rate for M3 growth in 1992? What was the target rate for M3 growth in 1992? What does El Nino mean in spanish? What does El Nino mean in spanish?

40 Opinião pessoal (de Pedro Freire)

41 41 Abrangência O título do artigo é muito abrangente, mas o resultado não é assim tão abrangente O título do artigo é muito abrangente, mas o resultado não é assim tão abrangente Isto não tira valor ao artigo! Mas há várias situações que ele não cobre... Isto não tira valor ao artigo! Mas há várias situações que ele não cobre...

42 42 Não faz deduções O sistema assume que no seu universo de documentos, existem frases (ou trechos) que serão respostas à consulta do utilizador O sistema assume que no seu universo de documentos, existem frases (ou trechos) que serão respostas à consulta do utilizador –Isto nem sempre é assim –E.g.: para responder à idade de uma pessoa, o sistema não subtrai a data de nascimento da data actual

43 43 Não descobre perguntas implícitas Embora o sistema seja adequado para uma interface estilo motor de pesquisa, não funciona em situações onde as perguntas podem estar implícitas (e.g.: s de suporte) Embora o sistema seja adequado para uma interface estilo motor de pesquisa, não funciona em situações onde as perguntas podem estar implícitas (e.g.: s de suporte) E.g.: um utilizador frustrado pode enviar uma mensagem simples FTP não funciona que tem a pergunta implícita Como uso FTP? ou Como corrijo problemas de conectividade por FTP? E.g.: um utilizador frustrado pode enviar uma mensagem simples FTP não funciona que tem a pergunta implícita Como uso FTP? ou Como corrijo problemas de conectividade por FTP?

44 44 Não responde a perguntas elaboradas O slide anterior mostra outra questão pertinente O slide anterior mostra outra questão pertinente Nem todas as perguntas se respondem com uma frase/trecho Nem todas as perguntas se respondem com uma frase/trecho –E.g.: Como mudo óleo ao motor?

45 Questões?


Carregar ppt "Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides."

Apresentações semelhantes


Anúncios Google