Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Classificação Arvores de Decisão
AULAS 8 e 9 Data Mining
2
Mestrado em Ciencia da Computacao
Classificação Nome Idade Renda Profissão Classe Daniel ≤ 30 Média Estudante Sim João 31..50 Média-Alta Professor Carlos Engenheiro Maria Baixa Vendedora Não Paulo Porteiro Otavio > 60 Aposentado SE. Idade ≤ 30 E Renda é Média ENTÃO Compra-Produto-Eletrônico = SIM. Mestrado em Ciencia da Computacao
3
Mestrado em Ciencia da Computacao
Etapas do Processo REGRAS Amostras Classificadas Banco de Testes Classificador REGRAS CONFIÁVEIS Mestrado em Ciencia da Computacao
4
Métodos de Classificação
Classificadores eager (espertos) A partir da amostragem, constroem um modelo de classificação capaz de classificar novas tuplas. Uma vez pronto o modelo, as amostras não são mais utilizadas na classificação de novos objetos (tuplas) Arvores de Decisão Redes Neuronais Redes Bayseanas Máquinas de Suporte Vetorial Classificadores lazy (preguiçosos) Cada nova tupla é comparada com todas as amostras e é classificada segundo a classe da amostra à qual é mais similar. Método kNN (k-nearest-neighbor) Case-Based Reasoning (CBR) Outros Métodos Algoritmos Genéticos Conjuntos Difusos Mestrado em Ciencia da Computacao
5
Critérios de Comparação dos Métodos
Acurácia – capacidade de classificar corretamente novas tuplas Rapidez – tempo gasto na classificacao Robustez – habilidade de classificar corretamente em presenca de ruidos e valores desconhecidos Escalabilidade – eficiencia do classificador em grandes volumes de dados Interpretabilidade – facilidade de um usuario entender as regras produzidas pelo classificador Mestrado em Ciencia da Computacao
6
Acurácia – Taxa de erros
Acc(M) = porcentagem das tuplas dos dados de teste que sao corretamente classificadas. Err(M) = 1 – Acc(M) Matriz de Confusão Classes Preditas C1 C2 Positivos verdadeiros Falsos Negativos Falsos Negativos Classes Reais Mestrado em Ciencia da Computacao
7
Outras medidas mais precisas
Exemplo : acc(M) = 90% C1 = tem-câncer (4 pacientes) C2 = não-tem-câncer (500 pacientes) Classificou corretamente 454 pacientes que não tem câncer Não acertou nenhum dos que tem câncer Pode ser classificado como “bom classificador” mesmo com acurácia alta ? Sensitividade = true-pos pos Especificidade = true-neg neg Precisão = true-pos true-pos + falso-pos % pacientes classificados corretamente com câncer dentre todos os que realmente tem câncer % pacientes classificados corretamente com câncer dentre todos os que foram classificados com câncer Mestrado em Ciencia da Computacao
8
Processo de Classificação
Deriva Modelo (Regras) Calcula Acuracia Amostras Dados Dados de teste Mestrado em Ciencia da Computacao
9
Mestrado em Ciencia da Computacao
Preparação dos Dados Limpeza dos dados : remove ruidos e resolve problemas de dados incompletos Análise de Relevância : elimina atributos irrevelantes para a classificação Transformação dos dados Categorização Generalização Ex: Rua pode ser substituido por Cidade Normalização : todos os valores dos atributos em [0,1] Mestrado em Ciencia da Computacao
10
Mestrado em Ciencia da Computacao
Árvore de Decisão IDADE ≤ 30 31-50 >60 51-60 PROFISSÃO RENDA Não Sim B Med Eng Prof M Vend A M-A Sim Sim Não Sim Sim Não Sim Sim Se Idade ≤ 30 e Renda é Baixa então Não compra Eletrônico Se Idade = e Prof é Médico então compra Eletrônico Mestrado em Ciencia da Computacao
11
Como criar uma Árvore de Decisão – Algoritmo ID3
B C CLASSE a1 b1 c1 X b2 a2 c2 CASO 1 C1 Mestrado em Ciencia da Computacao
12
Como criar uma Árvore de Decisão
B C CLASSE a1 b1 c1 X b2 a2 Y c2 Atributo-Teste = CASO 2 O que mais reduz a entropia A a1 a2 A B C CLASSE a1 b1 c1 X b2 c2 Y A B C CLASSE a2 b1 c1 Y b2 c2 X A, B, C } LISTA-ATRIBUTOS = { Mestrado em Ciencia da Computacao
13
Como criar uma Árvore de Decisão
Atributo-Teste = A B C CLASSE a1 b1 c1 X b2 c2 Y C O que mais reduz a entropia = C c2 c1 A B C CLASSE a1 b2 c2 Y A B C CLASSE a1 b1 c1 X b2 Y X LISTA-ATRIBUTOS = { B, C } Mestrado em Ciencia da Computacao
14
Qual é o Atributo-Teste ?
Divide-se o nó segundo cada atributo. Para cada divisão calcula-se a entropia produzida caso fosse escolhido este atributo. Considera-se o atributo cuja divisão resulta numa maior redução da entropia. Mestrado em Ciencia da Computacao
15
Informação ganha na divisão
Entrop(A) = -NC1 log2 NC1 - NC2 log2 NC2 Tot Tot Tot Tot Entrop(D) = NF1 * Entrop(F1) + NF2 * Entrop(F2) Tot Tot Info(Divisão) = Entrop(A) – Entrop (D) Maior Info(Divisão) Atributo escolhido Mestrado em Ciencia da Computacao
16
Mestrado em Ciencia da Computacao
Um Exemplo Aparência Temperatura Humidade Vento Classe Sol Quente Alta Não Ruim Sim Encoberto Bom Chuvoso Agradavel Frio Normal Mestrado em Ciencia da Computacao
17
1a divisão possível : Aparência
Chuva Sol Enc Bom Bom Bom Bom Bom Bom Bom Bom Bom Ruim Bom Ruim Ruim Ruim Entrop(D) = 5/14 * Entrop(F1) + 4/14*Entrop(F2) + 5/14*Entrop(F3) = 0.693 Entrop(F1) = -3/5*log2(3/5) - 2/5*log2 (2/5) = 0.971 Entrop(F2) = - 4/4*log2 (4/4) = 0 Entrop(F3) = - 3/5*log2(3/5) - 2/5*log2(2/5) = 0.971 Mestrado em Ciencia da Computacao
18
Mestrado em Ciencia da Computacao
Redução da Entropia Entrop(A) = - (9/14 * log2 (9/14) + 5/14* log2(5/14)) = = INFO(APARÊNCIA) = Entrop(A) – Entrop(D) = = = 0.247 Mestrado em Ciencia da Computacao
19
Comparando as 4 possibilidades
Info(Aparência) = 0.247 Info(Temperatura) = 0.029 Info(Humidade) = 0.152 Info(Vento) = 0.020 Mestrado em Ciencia da Computacao
20
Mestrado em Ciencia da Computacao
Algoritmo ID3 Input: Banco de dados de amostras A (com os valores dos atributos categorizados), lista de atributos Cand-List Output : Uma árvore de decisão Begin Gera-árvore(A, Cand-List) End Mestrado em Ciencia da Computacao
21
Mestrado em Ciencia da Computacao
Algoritmo ID3 Gera-árvore(A, Cand-List) Cria um nó N; Associa a este nó o banco de dados A Se todas as tuplas de A são da mesma classe C: transforma N numa folha com label C e PÁRA Caso contrário: Se Cand-List = vazio então transforma N numa folha com label igual a classe mais frequente de A Caso contrário: X:= Ganho(Cand-List) % esta função retorna o atributo X com maior ganho de informação (que causa maior redução de entropia) Etiqueta N com o atributo X Para cada valor a do atributo X Cria nó-filho F ligado a X por um ramo com label a e associa a este nó o conjunto A’ de amostras que tem X = a Se A’ é vazio: transforma o nó F numa folha com label C onde C é a classe mais frequente de A Caso contrário: chama a rotina Gera(A’, Cand-List-{X}) e associa ao nó F a árvore resultante deste cálculo. Mestrado em Ciencia da Computacao
22
Mestrado em Ciencia da Computacao
Implementações Christian Borgelt's Webpages Software Weka Machine Learning Software in Java Dados reais para testes UCI Machine Learning Repository Mestrado em Ciencia da Computacao
23
Mestrado em Ciencia da Computacao
Exercicio : amostras A B C D CLASSE a1 b1 c1 d1 SIM c2 NAO a2 b2 d2 a3 b3 Mestrado em Ciencia da Computacao
24
Mestrado em Ciencia da Computacao
Exercicio - Testes A B C D CLASSE a2 b2 c2 d1 SIM a1 b1 d2 NÃO c1 d3 a3 b3 Mestrado em Ciencia da Computacao
25
Acurácia, Sensividade, Precisão
B C D CLASSE a2 b2 c2 d1 a1 b1 d2 c1 d3 a3 b3 Mestrado em Ciencia da Computacao
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.