A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

FACENS – Engenharia da Computação Inteligência Artificial Árvores de Decisão.

Apresentações semelhantes


Apresentação em tema: "FACENS – Engenharia da Computação Inteligência Artificial Árvores de Decisão."— Transcrição da apresentação:

1 FACENS – Engenharia da Computação Inteligência Artificial Árvores de Decisão

2 Aprendizado de Máquina – Tópicos Definições Algoritmos Exemplo

3 Árvores de Decisão - Definições Uma árvore de decisão utiliza uma estratégia de dividir-para-conquistar: um problema complexo é decomposto em sub- problemas mais simples. recursivamente a mesma estratégia é aplicada a cada subproblema. Discriminação de uma árvore vem da: Divisão do espaço definido pelos atributos em sub- espaços. A cada sub-espaço é associada uma classe. Algoritmos ID3, CART, C4.5

4 Árvores de Decisão - Definições Possui regras para classificar dados usando atributos. A árvore possui nós de decisão e nós folhas. Um nó de decisão é basicamente uma escolha entre N possibilidades (arcos). Cada um destes arcos possui um dos possíveis valores do atributo. Um nó folha é um resultado da classificação da árvore.

5 Árvores de Decisão - Exemplo chuvoso altanormal fraco forte ensolarado nublado Não Sim Tempo Umidade Vento Não Jogar Tenis?

6 Árvores de Decisão – ID3 Um algoritmo para construir uma árvore de decisão. Proposto por J. Ross Quinlan in Utiliza da Teoria da Informação de Shannon (1948). Constrói a árvore em uma estrutura top down. O conceito de ganho de informação é usado para selecionar os atributos mais significativos para a classificação.

7 Árvores de Decisão – ID3 Um algoritmo para construir uma árvore de decisão. Proposto por J. Ross Quinlan in Utiliza da Teoria da Informação de Shannon (1948). Constrói a árvore em uma estrutura top down. O conceito de ganho de informação é usado para selecionar os atributos mais significativos para a classificação.

8 Árvores de Decisão – Entropia Uma fórmula para calcular o quanto uma amostra é homogênea. Uma amostra completamente homogênia tem entropia zero. Uma amostra completamente heterogência tem entropia 1. A fórmula da entropia é:

9 Árvores de Decisão – Ganho de Informação Uma fórmula para calcular o quanto uma amostra é homogênea. Uma amostra completamente homogênia tem entropia zero. Uma amostra completamente heterogência tem entropia 1. A fórmula da entropia é:

10 Árvores de Decisão – Ganho de Informação O ganho de informação é baseado na redução de entropia depois que um conjunto de dados é dividido a partir de um atributo. Qual atributo gera os ramos mais homogêneos? Primeira calcula-se a entropia total do conjunto de dados O conjunto de dados é então dividido usando os diferentes atributos A entropia de cada ramo é calculada e subtraída da entropia total antes da divisão O resultado é o ganho de informação (IG) O atributo com o maior IG é escolhido como nó de decisão Se o ramo tiver entropia zero, ele é um nó folha O processo se repete recursivamente

11 Árvores de Decisão – Exemplo PessoaCabelo (cm) PesoIdadeClasse Homer010036M Marge256034F Bart52010M Lisa25508F Maggie1081F Abe370 M Selma208041F Otto256538M Krusty159045M Comic829038?

12 Cabelo <= 12? sim não E(4F,5M) = -(4/9)log 2 (4/9) - (5/9)log 2 (5/9) = E(1F,3M) = -(1/4)log 2 (1/4) - (3/4)log 2 (3/4) = E(3F,2M) = -(3/5)log 2 (3/5) - (2/5)log 2 (2/5) = Ganho(Cabelo <= 12) = – (4/9 * /9 * ) = Dividindo por Cabelo

13 Peso <= 60? sim não E(4F,1M) = -(4/5)log 2 (4/5) - (1/5)log 2 (1/5) = E(0F,4M) = -(0/4)log 2 (0/4) - (4/4)log 2 (4/4) = 0 Ganho(Peso <= 60) = – (5/9 * /9 * 0 ) = Dividindo por Peso E(4F,5M) = -(4/9)log 2 (4/9) - (5/9)log 2 (5/9) =

14 Idade <= 40? sim não Entropy(3F,3M) = -(3/6)log 2 (3/6) - (3/6)log 2 (3/6) = 1 Entropy(1F,2M) = -(1/3)log 2 (1/3) - (2/3)log 2 (2/3) = Ganho(Idade <= 40) = – (6/9 * 1 + 3/9 * ) = Dividindo por Idade E(4F,5M) = -(4/9)log 2 (4/9) - (5/9)log 2 (5/9) =

15 Peso <= 60? sim não Cabelo <= 12? sim não Dos três atributos, peso foi o melhor. Entretanto, nem todos foram classificados corretamente. Sendo assim, rodamos o processo de novo para o subconjunto da esquerda! Como classificar estes novos casos? Árvores de Decisão – Exemplo

16 Weight <= 160? yesno Hair Length <= 2? yes no We need dont need to keep the data around, just the test conditions. Male Female How would these people be classified?

17 Referências Quinlan, J.R. 1986, Machine Learning, 1, 81 mlhttp://www2.cs.uregina.ca/~dbd/cs831/notes/ml/dtrees/4_dtrees2.ht ml Professor Sin-Min Lee, SJSU. ID3 Algorithm. Allan Neymark. CS157B – Spring 2007.


Carregar ppt "FACENS – Engenharia da Computação Inteligência Artificial Árvores de Decisão."

Apresentações semelhantes


Anúncios Google