Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002.

Apresentação em tema: "Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002."— Transcrição da apresentação:

1 Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002

2 2 Nota Introdutória

3 FEUP, 17 de Dezembro de 20023 Organização Enquadramento Objectivos Fusão de conhecimento Arquitectura proposta Estudo de caso Conclusões Trabalho futuro

4 FEUP, 17 de Dezembro de 20024 Enquadramento Sistemas Periciais (SP) Características Detêm e usam conhecimento de peritos Solucionam problemas de forma idêntica à efectuada pelos peritos Vasta divulgação, popularidade e sucesso comercial Aplicados com sucesso em diversos domínios (produção, medicina e engenharia) Limitações Conhecimento que se encontra na base de conhecimento Obrigam à realização de operações de manutenção

5 FEUP, 17 de Dezembro de 20025 Enquadramento (II) Descoberta de Conhecimento em Bases de Dados (DCBD) Objectivo Extrair o conhecimento que se encontra implícito nos dados Utilização crescente Disseminação a diversos domínios (seguros, medicina, telecomunicações, etc.) Fonte de novo conhecimento Integrado na Base de Conhecimento (BC) de um SP com o intuito de superar as limitações mencionadas anteriormente

6 FEUP, 17 de Dezembro de 20026 Objectivos Conceber uma arquitectura que permita efectuar a fusão do conhecimento originário de DCBD com o conhecimento que se encontre na BC de um Sistema Baseado em Regras (SBR) Requisito: obter uma nova BC consistente Implementar um sistema de fusão de conhecimento Aplicar o sistema desenvolvido a um caso, com o intuito de demonstrar a sua validade

7 FEUP, 17 de Dezembro de 20027 Fusão de Conhecimento Objectivo Formar uma única perspectiva ou ponto de vista, no fundo, uma síntese ou um consenso. [Cholvy e Hunter, 1997] Caracterização do Problema Importante Reúne o conhecimento disperso Permite a dedução de conhecimento adicional (implícito) Não trivial Existência de perspectivas conflituosas (inconsistências)

8 FEUP, 17 de Dezembro de 20028 Fusão de Bases de Conhecimento Aproximações Forçam a consistência da BC resultante Credibilidade diferente às BC Revisão de conhecimento Igual credibilidade às BC Actualização de conhecimento Suportam a presença de inconsistências na BC resultante Arbitragem de BC Combinação de BC Lógicas multi-valor Argumentação Amalgamar BC

9 FEUP, 17 de Dezembro de 20029 Arquitectura do FUNDARE BC SBR Conhecimento eliminado Reunir BC Editar BC Criar BC Consistente Ferramenta de Verificação (VERITAS) Utilizador (Perito / Eng.º Conhecimento) BC SDCBD Converter BC Dicionário

10 FEUP, 17 de Dezembro de 200210 Converter BC Garantir a independência sintáctica da arquitectura Colocar as regras (SBR e SDCBD) nas suas respectivas formas canónicas Converter a BC resultante da fusão na sintaxe utilizada na BC do SBR Homogeneizar a heterogeneidade semântica BC SBRBC SDCBD Regras SBR (sintaxe x)Regras SDCBD (sintaxe y) Regras (sintaxe x) Converter BC Dicionário Editar BC Criar BC Consistente Significado termo Regras consistentes Regras SBR (forma canónica) Regras SDCBD (forma canónica)

11 FEUP, 17 de Dezembro de 200211 Editar BC Permitir realizar operações de edição sobre as BC Consultas Alterações Eliminações Editar BC Converter BC Reunir BC Regras SBR (forma canónica) Regras SDCBD alteradas Utilizador Regras Alterações regras Regras SDCBD (forma canónica) Regras SBR alteradas

12 FEUP, 17 de Dezembro de 200212 Reunir BC Agregar todo o conhecimento existente numa única BC Colocar o conhecimento no formato de representação requerido pela ferramenta de verificação (VERITAS) Reunir BC Editar BC Criar BC Consistente Regras SDCBD alteradas Regras SBR alteradas VERITAS Regras reunidas Regras reunidas

13 FEUP, 17 de Dezembro de 200213 Ferramenta de Verificação (VERITAS) Objectivo Detectar todas as anomalias que possam existir na BC reunida, recorrendo a técnicas de verificação baseadas em métodos formais (módulo externo) Modo de funcionamento Desenvolve todas as cadeias de inferência (expansões) plausíveis Anomalias tratadas Circularidades indirectas Ambivalências Inconsistências VERITAS Reunir BC Criar BC Consistente Regras reunidas Anomalias detectadas Expansões geradas

14 FEUP, 17 de Dezembro de 200214 Criar BC Consistente Identificar todas as soluções que permitem a obtenção de Subconjuntos Máximos Consistentes (SMC) de regras Auxiliar o utilizador a seleccionar um SMC Criar BC Consistente Reunir BC Classificação anomalias-erros VERITAS Regras Eliminadas Regras reunidas Utilizador R.Eliminadas Preferências- Restrições Factos possíveis Soluções possíveis eliminação Solução eliminação Anomalias detectadas Expansões geradas Converter BC Regras Consistentes

15 FEUP, 17 de Dezembro de 200215 Criação da BC Consistente (II) Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis

16 FEUP, 17 de Dezembro de 200216 Identificação das Expansões Finais Identificação das expansões que não são susceptíveis de qualquer desenvolvimento adicional Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis expFBas( 1, `H1`, [`F1`], [`D-r1-L1`] ). expFBas( 2, `H2`, [`F1`], [`D-r1-L1`,`D-r2-L1`] ). expFBas( 3, `C1`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`D-r3-L1`] ). expFBas( 4, `C2`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`P-r8-L1`] ). expFBas( 1, `H1`, [`F1`], [`D-r1-L1`] ). expFBas( 2, `H2`, [`F1`], [`D-r1-L1`,`D-r2-L1`] ). expFBas( 3, `C1`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`D-r3-L1`] ). expFBas( 4, `C2`, [`F1`], [`D-r1-L1`,`D-r2-L1`,`P-r8-L1`] ).

17 FEUP, 17 de Dezembro de 200217 Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis Classificação Anomalias - Erros Anomalia = sintoma de um possível erro Classificação como erro depende do utilizador Na criação da BC consistente, apenas se consideram os erros Erros Anomalias

18 FEUP, 17 de Dezembro de 200218 Separação das Expansões Geradas Separar as expansões finais geradas em: Expansões afectadas por erros Expansões não afectadas por erros Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis Expansões finais geradas Expansões afectadas por erros Expansões não afectadas por erros

19 FEUP, 17 de Dezembro de 200219 Geração das Soluções Possíveis (Tuplos) Determinar todas as combinações possíveis de eliminação de regras entre as expansões com erros As restantes regras formam um SMC Subconjunto – Não inclui as regras que constam do tuplo Máximo – Basta a inclusão de uma das regras do tuplo para que a BC volte a ter erros Consistente – Não é possível detectar os erros anteriormente identificados Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis Expansões Afectadas por Erros P-r1-L2; P-r4-L1; D-r5-L1 D-r1-L1; P-r8-L1 Tuplos {P-r1-L2; D-r1-L1} {P-r1-L2; P-r8-L1} {P-r4-L1; D-r1-L1} {P-r4-L1; P-r8-L1} {D-r5-L1; D-r1-L1} {D-r5-L1; P-r8-L1}

20 FEUP, 17 de Dezembro de 200220 Definição de Restrições Objectivo Condicionar o processo de geração dos tuplos Tipos Regra não eliminável Regra de eliminação obrigatória Forma de definição Inexistência de factores de certeza regra a regra Existência de factores de certeza regra a regra via filtro Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis

21 FEUP, 17 de Dezembro de 200221 Definição de Factos Possíveis Informação sobre os factos susceptíveis de serem fornecidos Irrelevante na verificação formal de conhecimento Informação importante sobre as expansões não afectadas por erros Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis Exemplo: r1: a b r2: b c r3: c d Expansão gerada pelo VERITAS: r1; r2; r3 Mas, se b for um facto possível de ser fornecido, também se pode estabelecer a seguinte sub-expansão da anterior: r2; r3. Isto significa que a expansão gerada, no fundo, representa duas expansões susceptíveis de se estabelecerem a partir da BC. Exemplo: r1: a b r2: b c r3: c d Expansão gerada pelo VERITAS: r1; r2; r3 Mas, se b for um facto possível de ser fornecido, também se pode estabelecer a seguinte sub-expansão da anterior: r2; r3. Isto significa que a expansão gerada, no fundo, representa duas expansões susceptíveis de se estabelecerem a partir da BC.

22 FEUP, 17 de Dezembro de 200222 Métodos de Ordenação dos Tuplos Hierarquizar os diferentes tuplos em função da perda de conhecimento que implicam Auxiliar o utilizador a seleccionar o tuplo a adoptar como solução Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis Métodos Ordenação dos Tuplos Expansões sem Erros Afectadas Inexistência FC nas Regras Existência FC nas Regras Alternativas Obtenção Mesmos Consequentes Inexistência FC nas Regras Existência FC nas Regras

23 FEUP, 17 de Dezembro de 200223 Métodos Ordenação dos Tuplos Expansões sem Erros Afectadas Inexist. FC Regras Exist. FC Regras Alternativas Obtenção Mesmos Consequentes Inexist. FC Regras Exist. FC Regras Expansões sem Erros Afectadas (inexistência de FC nas regras) 1. Para cada tuplo, determinar o número de expansões sem erros afectadas 2. Ordenar os tuplos por ordem crescente 3. Reordenar os tuplos (em situação de igualdade) por ordem crescente do n.º de regras que os compõem Tuplo: {P-r1-L2; P-r8-L1} Expansões não afectadas por erros P-r1-L1; P-r4-L1; P-r5-L1; P-r7-L1; D-r3-L1 P-r1-L1; P-r4-L1; P-r5-L1; P-r7-L1; P-r8-L1 P-r1-L2; P-r4-L1; P-r5-L1; P-r7-L1; P-r8-L1 D-r1-L1; D-r2-L1; D-r3-L1 D-r1-L2; D-r2-L1; D-r3-L1 D-r1-L2; D-r2-L1; P-r8-L1 P-r2-L1; P-r3-L1; P-r6-L1; P-r7-L2; D-r3-L1 P-r2-L1; P-r3-L1; P-r6-L1; P-r7-L2; P-r8-L1 P-r6-L2; P-r7-L2; D-r3-L1 P-r6-L2; P-r7-L2; P-r8-L1 N.º de Expansões Afectadas: 5

24 FEUP, 17 de Dezembro de 200224 Métodos Ordenação dos Tuplos Expansões sem Erros Afectadas Inexist. FC Regras Exist. FC Regras Alternativas Obtenção Mesmos Consequentes Inexist. FC Regras Exist. FC Regras Expansões sem Erros Afectadas (existência de FC nas regras) 1. Para cada tuplo, determinar: O número de expansões sem erros afectadas A certeza média com que se obtêm conclusões Utilização do mecanismo de propagação dos FC Possibilidade de suavizar a média à custa do desvio padrão 2. Ordenar os tuplos por ordem crescente das expansões sem erros afectadas Peso de importância relativa de cada critério Normalização dos valores Utilização de uma métrica

25 FEUP, 17 de Dezembro de 200225 Alternativas de Obtenção dos Mesmos Consequentes (inexist. FC nas regras) 1. Para cada tuplo, determinar o número de alternativas que permitem obter os mesmos consequentes 2. Ordenar os tuplos por ordem crescente do número de regras que não possuem alternativa 3. Reordenar os tuplos (em situação de igualdade), em função da média do número de alternativas Possibilidade de suavizar a média à custa do desvio padrão 4. Reordenar os tuplos (em situação de igualdade) por ordem crescente do n.º de regras que os compõem Métodos Ordenação dos Tuplos Expansões sem Erros Afectadas Inexist. FC Regras Exist. FC Regras Alternativas Obtenção Mesmos Consequentes Inexist. FC Regras Exist. FC Regras g i h i e f p p r d f b c c e i p a c n o j l k m l m o o p p q P-r7-L1 P-r8-L1 D-r3-L1 P-r1-L1 D-r1-L2 1. Nº de Alternativas dos tuplos: {P-r7-L1; P-r8-L1} (4, 0) {P-r8-L1; D-r3-L1} (0, 0) {P-r1-L1; D-r1-L2} (1, 1) 2. Ordenação dos tuplos: {P-r1-L1; D-r1-L2} (1, 1) {P-r7-L1; P-r8-L1} (4, 0) {P-r8-L1; D-r3-L1} (0, 0)

26 FEUP, 17 de Dezembro de 200226 Alternativas de Obtenção dos Mesmos Consequentes (existência FC nas regras) 1. Para cada tuplo, determinar O número de alternativas que permitem obter os mesmos consequentes A certeza média com que se obtêm os mesmos consequentes pelas alternativas existentes Utilização do mecanismo de propagação dos FC 2. Ordenar os tuplos por ordem crescente do número de regras que não possuem alternativa 3. Reordenar os tuplos (em situação de igualdade) em função da média do número de alternativas e da certeza média com que se obtêm as conclusões Peso de importância relativa atribuído a cada critério Possibilidade de suavizar a média à custa do desvio padrão Normalização dos valores Utilização de uma métrica Métodos Ordenação dos Tuplos Expansões sem Erros Afectadas Inexist. FC Regras Exist. FC Regras Alternativas Obtenção Mesmos Consequentes Inexist. FC Regras Exist. FC Regras

27 FEUP, 17 de Dezembro de 200227 Selecção do SMC de Regras A selecção do tuplo compete ao utilizador A eliminação das regras (do tuplo) resultam num SMC de regras (BC final consistente) As regras eliminadas são colocadas num repositório de conhecimento eliminado A BC final reúne condições para se tornar na nova BC do SBR Classificação Anomalias-Erros Identificação Expansões Finais Separação Expansões Geradas Definição Restrições Geração Soluções Possíveis (Tuplos) Aplicação Método Ordenação Tuplos Selecção SMC Regras Definição Factos Possíveis

28 FEUP, 17 de Dezembro de 200228 Estudo de Caso Domínio: mediação de seguros Área: contratos / apólices Bases de conhecimento Adquirido Recolhida a partir de um perito da área Composta por 21 regras Descoberto Utilização do SDCBD Clementine e do algoritmo de indução de regras C5.0 Composta por 14 regras Objectivo Obter um BC consistente resultante da fusão do conhecimento descoberto com o conhecimento adquirido

29 FEUP, 17 de Dezembro de 200229 Estudo de Caso (II) Erros detectados Ambivalência ao longo de múltiplas cadeias de inferência Inconsistência ao longo de múltiplas cadeias de inferência Método aplicado Expansões sem erros afectadas (n.º e certeza média) Diferentes cenários Atribuídos pesos de importância relativa diferentes Introduzidas restrições à geração de tuplos Conclusões obtidas Tuplos seriados em função da perda de conhecimento que implicam A ordenação auxiliou na selecção do tuplo a adoptar A eliminação das regras do tuplo resultou numa BC consistente A nova BC permite a obtenção de novas conclusões quando comparada com a BC adquirido inicial

30 FEUP, 17 de Dezembro de 200230 Conclusões Análise, concepção e desenvolvimento de uma arquitectura para a fusão de conhecimento Baseada em aspectos sintácticos Preocupação com outro tipo de erros, para além das inconsistências Implementação do sistema de fusão de conhecimento Aplicação a um caso na área da mediação de seguros, confirmou a validade da arquitectura

31 FEUP, 17 de Dezembro de 200231 Trabalho Futuro Incorporar conhecimento semântico (meta-conhecimento) nos métodos de ordenação dos tuplos Manipular erros do tipo redundância Considerar, de alguma forma, no processo de fusão, o conhecimento anteriormente eliminado Aplicar o FUNDARE a novos casos de fusão de conhecimento Construir uma operatória que efectue uma análise comparativa aos resultados obtidos em cada um dos métodos

32 Fusão e Tratamento de Ambiguidades em Conhecimento Descoberto e Adquirido Paulo Oliveira FEUP, 17 de Dezembro de 2002