Marcus Sampaio DSC/UFCG

Marcus Sampaio DSC/UFCG A Lógica dos Algoritmos “Covering” A estratégia é selecionar cada classe do conjunto- treinamento, e procurar as regras  condições ou o antecedente  que 'cobrem' ("cover") as instâncias da classe, por sucessivos refinamentos –Se ? então classe X Note que o objetivo pode não ser cobrir todas as instâncias de uma classe, ou pode não ser obter regras puras –Acurácia de treinamento de 100% pode não ser a meta Regras do tipo –Se então ( = )

Marcus Sampaio DSC/UFCG

Marcus Sampaio DSC/UFCG Regras para a classe a –Primeiro refinamento se x > 1.2 então classe = a –Segundo refinamento se x > 1.2 e y > 2.6 então classe = a –Terceiro refinamento (ainda existe a não coberto)...

Marcus Sampaio DSC/UFCG Regras para a classe b –Primeiro refinamento se x  1.2 então classe = b –Segundo refinamento se x  1.2 então classe = b se x > 1.2 e y  2.6 então classe = b –Terceiro refinamento (a segunda regra é impura)...

Marcus Sampaio DSC/UFCG Árvore de decisão –Conjunto de regras –Cada regra é um ‘galho’ da árvore Um algoritmo "covering" produz regras diferentes daquelas obtidas de árvores de decisão, para o mesmo conjunto-treinamento Dado um conjunto-treinamento, quem é melhor –Árvore de Decisão? –Regras de Classificação stricto sensu? Regras de Classificação versus Árvores de Decisão

Marcus Sampaio DSC/UFCG A diferença essencial entre algoritmos de árvore de decisão e algoritmos “covering” reside no tipo de abordagem –Árvore de decisão: top down Primeiro, o antecedente; depois, a classe –“Covering”: bottom up Primeiro, a classe; depois, o antecedente

Marcus Sampaio DSC/UFCG O Algoritmo “Covering” Prism youngmyopenoreducednone youngmyopenonormalsoft youngmyopeyesreducednone youngmyopeyesnormalhard younghypermetropenoreducednone younghypermetropenonormalsoft age spectacle prescriptiom astigmatism tear production rate recommended lens

Marcus Sampaio DSC/UFCG younghypermetropeyesreducednone younghypermetropeyesnormalhard pre-presbyopicmyopenoreducednone pre-presbyopicmyopenonormalsoft pre-presbyopicmyopeyesreducednone pre-presbyopicmyopeyesnormalhard

Marcus Sampaio DSC/UFCG pre-presbyopichypermetropenoreducednone pre-presbyopichypermetropenonormalsoft pre-presbyopichypermetropeyesreducednone pre-presbyopichypermetropeyesnormalnone presbyopicmyopenoreducednone presbyopicmyopenonormalnone

Marcus Sampaio DSC/UFCG presbyopicmyopeyesreducednone presbyopicmyopeyesnormalhard presbyopichypermetropenoreducednone presbyopichypermetropenonormalsoft presbyopichypermetropeyesreducednone presbyopichypermetropeyesnormalnone

Marcus Sampaio DSC/UFCG If ? then Recommended = hard Age = young2/8 Age = pre-presbyopic 1/8 Age = presbyopic 1/8 Spectacle prescription = myope 3/12 Spectacle prescription = hypermetrope 1/12 Astigmatism = no 0/12 Astigmatism = yes 4/12 Tear production rate = reduced 0/12 Tear production rate = normal 4/12 If Astigmatism = yes then Recommended = hard Acurácia

Marcus Sampaio DSC/UFCG youngmyopeyesreducednone youngmyopeyesnormalhard younghypermetropeyesreducednone younghypermetropeyesnormalhard pre-presbyopicmyopeyesreducednone pre-presbyopicmyopeyesnormalhard

Marcus Sampaio DSC/UFCG pre-presbyopichypermetropeyesreducednone pre-presbyopichypermetropeyesnormalnone presbyopicmyopeyesreducednone presbyopicmyopeyesnormalhard presbyopichypermetropeyesreducednone presbyopichypermetropeyesnormalnone

Marcus Sampaio DSC/UFCG If Astigmatism = yes and ? then Recommended = hard Age = young2/4 Age = pre-presbyopic1/4 Age = presbyopic1/4 Spectacle prescription = myope3/6 Spectacle prescription = hypermetrope1/6 Tear production rate = reduced0/6 Tear production rate = normal4/6 If Astigmatism = yes and Tear production rate = normal then Recommended = hard

Marcus Sampaio DSC/UFCG Buscar regras exatas (ou perfeitas, ou puras) youngmyopeyesnormalhard younghypermetropeyesnormalhard pre-presbyopicmyopeyesnormalhard pre-presbyopichypermetropeyesnormalnone presbyopicmyopeyesnormalhard presbyopichypermetropeyesnormalnone

Marcus Sampaio DSC/UFCG If Astigmatism = yes and Tear production rate = normal and ? then Recommended = hard Age = young2/2 Age = pre-presbyopic1/2 Age = presbyopic1/2 Spectacle prescription = myope3/3 Spectacle prescription = hypermetrope1/3 If Astigmatism = yes and Tear production rate = normal and Spectacle prescription = myope then Recommended = hard

Marcus Sampaio DSC/UFCG A regra só cobre 3 das 4 instâncias ‘hard’ O algoritmo remove então as 3 instâncias já cobertas, e começa de novo, para o conjunto- treinamento sem as 3 instâncias (24 – 3 = 21 instâncias)

Marcus Sampaio DSC/UFCG If ? then Recommended = hard... If Age = young and Astigmatism = yes and Tear production rate = normal then Recommended = hard Note que, quanto mais complexa (= mais cláusulas conjuntivas) a regra, maior a probabilidade de “overfitting” A regra acima só cobre uma instância

Marcus Sampaio DSC/UFCG Suponha que todas as instâncias classificadas como 'hard' foram cobertas O algoritmo prossegue com as instâncias classificadas como 'soft', e assim por diante

Marcus Sampaio DSC/UFCG

Marcus Sampaio DSC/UFCG Note que uma regra exata não é necessariamente boa  “overfitting” , se –Cobrir poucas instâncias (baixa qualidade estatística) –Muito complexa (cláusula conjuntiva muito grande) –As duas coisas Uma versão mais sofisticada do Prism –Analisa a qualidade das regras exatas –Pode gerar regras não exatas, porém com maior valor estatístico Mecanismos específicos de poda –A meta é uma boa acurácia de previsão

Marcus Sampaio DSC/UFCG Prism Processado com WEKA

Marcus Sampaio DSC/UFCG