A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

FERNANDO ARENA VARELLA Classificadores Baseados em Regras.

Apresentações semelhantes


Apresentação em tema: "FERNANDO ARENA VARELLA Classificadores Baseados em Regras."— Transcrição da apresentação:

1 FERNANDO ARENA VARELLA Classificadores Baseados em Regras

2 Roteiro 1. Características 2. Ordenamento de Regras 3. Métodos Diretos de Extração de Regras 4. Métodos Indiretos de Extração de Regras 5. Conclusão

3 Características Classificação a partir de um conjunto de regras: if... then... else Similar às árvores decisão Regras podem ser facilmente entendidas por humanos

4 Definições Representadas na forma normal disjuntiva: R = (r1 r2... r k ) R = conjunto de regras (ruleset) ri = regra de classificação -> (Condição) y i Condição = (A 1 op v 1 ) (A 2 op v 2 ).. (A i op v i ) seqüência de pares valor-atributo antecedente (ou precondição) y i = Classe predita conseqüente

5 Definições Uma regra r cobre um registro x quando seu antecedente casa com os atributos de x Analogamente, diz-se que uma regra r foi engatilhada (triggered) sempre que cobrir um registro r1: (Gives Birth = no) (Aerial Creature = yes) Bird r2: (Gives Birth = no) (Aquatic Creature = yes) Fish r3: (Gives Birth = yes) (Body Temperature = warm blooded) Mammals r4: (Gives Birth = no) (Aerial Creature = no) Reptiles r5: (Aquatic Creature = semi) Amphibians

6 Exemplo r1 cobre o primeiro vertebrado – todas as precondições são satisfeitas o segundo vertebrado não engatilha r1 – ambas precondições falham NameBody Temperature Skin CoverGives Birth AquaticAerialHas Legs Hibern ates hawkwarm-bloodedfeathers no yes no grizzly bear warm-bloodedfuryesno yes

7 Métricas Cobertura (Coverage) – Fração de registros de um conjunto de dados (D) que satisfazem o antecedente de uma regra (A) Coverage(x) = A / D Acurácia (Accuracy/confidence) – Fração de registros que satisfazem o antecedente e o conseqüente de uma regra (A y) Accuracy(r) = (A y) / A

8 NameBody Temper ature Skin Cover Gives BirthAqua tic AerialHas Legs Hiber nates Class Label humanwarmhairyesno yesnomammals pythoncoldscalesno yesreptiles salmoncoldscalesnoyesno fishes whalewarmhairyes no mammals frogcoldnonenoseminoyes amphibians komodocoldscalesno yesnoreptiles dragon batwarmhairyesno yes mammals pigeonwarm feathers no yes nobirds catwarmfuryesnoyes nomammals guppycoldscalesyes no fishes alligatorcoldscalesnoseminoyesnoreptiles penguinwarm feathers noseminoyesnobirds porcupinewarmquillsyesno yes mammals eelcoldscalesnoyesno fishes salamander coldnonenoseminoyes amphibians

9 Métricas Considerando a regra r3 r3: (Gives Birth = yes) (Body Temperature = warm blooded) Mammals Cobre 5 registros do dataset, logo, sua cobertura é de 33% (5/15) Dos 5 registros, todos são mammals, logo, a acurácia é de 100% (5/5)

10 Propriedades Regras Mutuamente Exclusivas: quando não existem 2 regras no ruleset que são engatilhadas pelo menos registro Regras Exaustivas: quando há uma regra para cada combinação de atributos/valores A combinação das duas propriedades garantirá que qualquer registro será coberto por exatamente uma regra

11 Ordenamento Regras Ordenadas: as regras possuem um valor de prioridade Quando mais de uma regra é engatilhada, a decisão é feita baseada na lista de prioridades (decision list) Regras Sem Ordenamento: o conseqüente das regras engatilhadas é colocado em uma lista de votos, ao final, ganha o que tiver mais votos Construção do modelo é mais eficiente, entretanto, a classificação é mais custosa

12 Esquemas de Ordenamento Rule-Based Ordering Scheme: Ordena as regras de acordo com alguma métrica (normalmente a sua qualidade) Regras com menos qualidade podem ser difíceis de interpretar (assume a negação de todas as regras anteriores) Class-Based Ordering Scheme: Regras da mesma classe ficam próximas Pode favorecer classes com maior freqüência

13 Construção de um Classificador baseado em Regras Métodos Diretos de extração de regras: Extrai as regras diretamente dos dados Métodos indiretos de extração de regras: Extrai as regras a partir de outros modelos de classificação Normalmente utilizados para simplificar o outro modelo

14 Métodos Diretos de Extração de Regras Utiliza algoritmo de cobertura seqüencial dos dados As regras crescem de modo guloso Crescimento segue alguma estratégia de crescimento Métricas de qualidade Ordenamento das classes Custo da classificação errônea de alguma classe

15 Algoritmo de Cobertura Seqüencial 1. Inicia com um conjunto vazio de regras 2. Gera uma regra, utilizando a função Learn-One-Rule 3. Adiciona a regra ao conjunto de regras 4. Remove os registros cobertos pela regra gerada 5. Repete 2, 3 e 4 até cobrir todos registros Uma regra é desejável quando: Cobre o maior número possível dos registros positivos; Não cobre nenhum (ou quase nenhum) dos registros negativos

16 Exemplo da Cobertura Seqüencial Passo 1Passo 2

17 Exemplo da Cobertura Seqüencial Passo 3 Passo 4

18 Função Learn-One-Rule Objetivos: Cobrir o maior número possível de positivos, e Cobrir o menor número possível de negativos Gerar a melhor regra possível é muito custoso computacionalmente Solução: as regras são desenvolvidas gradativamente Pára quando o critério de parada é alcançado Após a parada, a regra é podada para diminui 2 Estratégias: Geral-para-específico Específico-para-geral

19 Crescimento geral-para-específico de regras 1. Inicia com uma regra r: {} y Antecedente é um conjunto vazio, ou seja, qualquer condição implica na classe y 2. Escolhe um par valor-atributo inicial para formar o antecedente 3. Escolhe, gulosamente, o próximo par 4. Repete passo 3 até alcançar o critério de parada (quando o novo par não incrementa a qualidade da regra)

20 Crescimento de Regras – Geral-para-específico {} => Mammals Skin Cover = hair => Mammals Body Temp = warm-blooded => Mammals {} => Mammals Body Temp = warm- blooded, Has Legs= yes => Mammals Body Temp = warm- blooded, Gives Birth = yes => Mammals...

21 Crescimento específico-para-geral 1. Um dos registros positivos é randomicamente selecionado 2. O conjunto de pares valor-atributo formará a semente inicial 3. Remove um dos pares (de modo que a regra cubra mais exemplos positivos) 4. Repete passo 3 até alcançar o critério de parada (quando começar a cobrir exemplos negativos)

22 Crescimento de Regras – Específico-para-geral... Body Temperature=warm-blooded, Skin Cover=hair, Gives Birth=yes, Aquatic creature=no, Aerial Creature=no, Has Legs=yes, Hibernates=no => Mammals Body Temperature=warm- blooded, Gives Birth=yes, Aquatic creature=no, Aerial Creature=no, Has Legs=yes, Hibernates=no => Mammals Body Temperature=warm- blooded, Skin Cover=hair, Gives Birth=yes, Aquatic creature=no, Aerial Creature=no, Has Legs=yes => Mammals

23 Métricas de Avaliação de Regras Utilizadas para decidir qual par será incluído (removido) da regra Accuracy não é suficiente Leva em conta a qualidade dos acertos, mas Não considera a cobertura dos registros

24 Exemplo Conjunto de dados com 60 exemplos positivos e 100 exemplos negativos Regra r1: cobre 50 positivos e 5 negativos Regra r2: cobre 2 positivos e 0 negativos Acurácia de r1 = 90%, Acurácia de r2 = 100%

25 Outras métricas de avaliação Método estatístico de avaliação Medidas Laplace e m-estimate FOILs information gain

26 Teste estatístico k = número de classes / f i = exemplos que são cobertos da classe i e i = freqüência esperada para uma regra com predição randômica R1: e + = 55 x 60 / 160 = / e - = 55 x 100 / 160 = R(r1) = 2 x [50 x log 2 (50/20.625) + 2 x log 2 (5/ )] = 99.9 R2: e + = 2 x 60 / 160 = 0.75 / e - = 2 x 100 / 160 = 1.25 R(r2) = 2 x [2 x log 2 (2/ 0.75) + 0 x log 2 (0/ 1.25)] = 5.66

27 Laplace e m-estimate n = cobertura da regra k = número total de classes f + = exemplos positivos cobertos p + = probabilidade a priori Levam em conta a cobertura dos dados Laplace(r1) = 51/57 = 89.47% m-estimate(r1) = ( x 0,375) / 57 = 0,97 Laplace(r2) = ¾ = 75% m-estimate(r2) = (2 + 2 x 0,375) / 4 = 0,6875

28 FOILs Information Gain p i = número de exemplos positivos cobertos pela regra n i = número de exemplos negativos cobertos pela regra Considera o ganho obtido pela adição de um par valor-atributo à regra Regras com maior suporte (maior cobertura dos positivos) terão um maior ganho Acurácia também influencia ganho

29 Poda de Regras São aplicadas as mesmas técnicas utilizadas em árvores de decisão Se o erro geral diminuir após a simplificação de uma regra, ela é mantida Normalmente é aplicada após a geração de cada regra Também é utilizada para evitar sub(super)- especialização

30 Cobertura Seqüencial 1. Inicia com um conjunto vazio de regras 2. Gera uma regra, utilizando a função Learn-One-Rule 3. Adiciona a regra ao conjunto de regras 4. Remove os registros cobertos pela regra gerada 5. Repete 2 e 3 até cobrir todos registros

31 Eliminação de Instâncias Evitar a geração de regras repetidas Evitar super-avaliação de uma regra Caso os exemplo positivos ainda estejam presentes Evitar sub-avaliação de uma regra Caso os exemplos negativos ainda estejam presentes

32 Eliminação de Instâncias Accuracy R1 = 12/15 (80%) Accuracy R2 = 7/10 (70%) Accuracy R3= 8/12 (66,7%) Accuracy R3= 5/7 (71,42%) após remoção dos exemplos cobertos por R1

33 Estudo de caso: RIPPER Um dos algoritmos mais utilizados para construção de modelos de classificação baseados em regras Trabalha com um conjunto de validação, para evitar super-especialização

34 RIPPER: 2 classes Assume com default a classe mais freqüente Gera as regras para cobrir a outra classe (minoria) Exemplos que não engatilham nenhuma regra serão preditos como sendo da classe default

35 RIPPER: multiclasse Toma uma classe como default (a classe mais freqüente) Ordena as classes de forma decrescente Gera, seqüencialmente, as regras para cobertura de uma classe Para cada classe, trata os registros que pertencem a ela como exemplos positivos, e todos outros como negativos Aplica a poda (teste é feito contra um conjunto de validação) Adiciona as regra e passa para a próxima classe (seguindo a ordem decrescente) Não gera regras para a classe default

36 Métodos Indiretos de Extração de Regras Extrai regras a partir de árvores de decisão A princípio, todo caminho da raiz até uma folha pode ser visto como um regra Os testes encontrados ao longo do caminho são transformados em pares valor-atributo A classe da folha é atribuída ao conseqüente da regra O conjunto de regras gerado será exaustivo, e conterá regras mutuamente exclusivas

37 Simplificação de Regras r2: (Q = Yes) + r3: (P = Yes) (R = No) + r2: (P = No) (Q = Yes) + r3: (P = Yes) (R = No) + r5: (P = Yes) (R = Yes) (Q = Yes) +

38 Conclusão A expressividade das regras é equivalente a uma árvore de decisões A performance também é equivalente Gera modelos facilmente interpretáveis Recomendado para o tratamento de conjuntos de dados com classes desbalanceadas

39 Referências Tan, P-N., Steinbach, M., Kumar, V., Introduction to Data Mining. Addison Wesley, 2006 Tan, P-N., Steinbach, M., Kumar, V., Classification: Alternative Techniques – Lecture Notes. Disponível em users.cs.umn.edu/~kumar/dmbook/index.php

40 Dúvidas? Fim


Carregar ppt "FERNANDO ARENA VARELLA Classificadores Baseados em Regras."

Apresentações semelhantes


Anúncios Google