A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Extracção Automática de Ontologias Métodos de Avaliação Knowledge Discovery and Management Group.

Apresentações semelhantes


Apresentação em tema: "Extracção Automática de Ontologias Métodos de Avaliação Knowledge Discovery and Management Group."— Transcrição da apresentação:

1 Extracção Automática de Ontologias Métodos de Avaliação Knowledge Discovery and Management Group

2 Agenda Avaliação: O que é? Categorização dos Métodos Exemplos Pros e contras Categorização de acordo com estrato ontológico Knowledge Discovery and Management Group

3 O que é a Avaliação? Serve para determinar a valia ou o valor de algo (e.g, um algoritmo). Permite guiar a procura de novo conhecimento e comparar resultados Knowledge Discovery and Management Group

4 O que é a Avaliação? Etapa fundamental do método científico: Observação de um fenómeno Formulação da Hipótese que explique o fenómeno Utilização da hipótese para fazer previsões AVALIAR as previsões através de experimentação Knowledge Discovery and Management Group

5 Avaliação de Ontologias Poderá servir para: encontrar a ontologia, dado um conjunto, mais adequada para determinada tarefa avaliar o resultado de um processo de Extracção Automática de Ontologia (EAO) como função de avaliação no algoritmo de aprendizagem em EAO Knowledge Discovery and Management Group

6 Métodos de Avaliação Podem ser categorizadas em 4 grupos: Utilização de uma “referência dourada” Avaliar o desempenho de uma aplicação Comparação com corpora do mesmo domínio Avaliação humana Knowledge Discovery and Management Group

7 Utilização de uma “referência dourada” Referência Dourada A B C Semelhança Lexical Semelhança Relacional Onde está a melhor saída? Knowledge Discovery and Management Group

8 Utilização de uma “referência dourada” Ao nível léxico (termos em comum) Precisão, Abrangência,... Knowledge Discovery and Management Group

9 Utilização de uma “referência dourada” Ao nível taxonómico (Maedche et al., 2002) Animal Mamífero Carnívoro Cão Réptil Gato Ruminante Animal Mamífero Cão Cocker Réptil Gato Knowledge Discovery and Management Group

10 Utilização de uma “referência dourada” Favor: Presta-se à utilização de métricas bem conhecidas (e.g., Precisão, Abrangência,...) Bastante objectivo e simples Granularidade da avaliação é elevada Contra: Nem sempre existem “referências douradas”. Muito laborioso criar a referência Knowledge Discovery and Management Group

11 Avaliar o desempenho de uma aplicação A B C Aplicação “Knowledge Hungry” Onde está a melhor saída? Knowledge Discovery and Management Group

12 Avaliar o desempenho de uma aplicação Por exemplo: Semelhanças semânticas utilizando uma ontologia lexical e correlacionar com intuições humanas. Expansão de termos em motores de pesquisa e medir influência na Precisão e Abrangência. “Interpretação” de texto/fala Interpretação ≈ representação semântica Knowledge Discovery and Management Group

13 Avaliar o desempenho de uma aplicação Favor: Fácil de avaliar (assumindo que já existe uma aplicação) Contra: Pode haver bons resultados numa tarefa específica mas é difícil generalizar A ontologia tem de ser descrita na linguagem esperada pela aplicação Numa aplicação muito complexa é difícil averiguar a verdadeira contribuição da ontologia Knowledge Discovery and Management Group

14 Comparação com corpora do mesmo domínio A B C Algoritmos bem conhecidos (e avaliados) de “Text-mining” Onde está a melhor saída? Knowledge Discovery and Management Group

15 Comparação com corpora do mesmo domínio Técnicas de clustering ( Brewster et al., 2004 ) Tópico 1 Tópico 2 Tópico 3 Tópico 4 Domínio A Knowledge Discovery and Management Group

16 Comparação com corpora do mesmo domínio Favor: Presta-se à utilização de métricas bem conhecidas (e.g., Precisão, Abrangência,...) Contra: Muitos dos algoritmos de text-mining são cegos à semântica (direcção das relações) Granularidade baixa Erros introduzidos pelos algoritmos de text- mining Knowledge Discovery and Management Group

17 Avaliação humana.... A B C Knowledge Discovery and Management Group

18 Avaliação humana.... Metodologia OntoClean Rigidez Identidade Unidade Estudante Pessoa é um ?? Ser estudante não é uma característica essencial das instâncias de Estudante. Ser pessoa é uma característica essencial das instâncias de Pessoa. Um conceito rígido não pode herdar de um conceito anti-rígido. Knowledge Discovery and Management Group

19 Avaliação humana.... Favor: Se efectuado por um grupo de especialistas é altamente eficiente Granularidade elevada Contra: Muito laborioso e moroso Dificuldade em manter o rigor da avaliação constante Knowledge Discovery and Management Group

20 Métodos de Avaliação Categorização complementar de acordo com o estrato ou nível ontológico: Lexical Taxonómico Relacional Contexto Sintáctico Design Filosófico Knowledge Discovery and Management Group

21 Extracção Automática de Ontologias Métodos de Avaliação FIM Knowledge Discovery and Management Group


Carregar ppt "Extracção Automática de Ontologias Métodos de Avaliação Knowledge Discovery and Management Group."

Apresentações semelhantes


Anúncios Google