Modelos de Mineração de Dados

Apresentação em tema: "Modelos de Mineração de Dados"— Transcrição da apresentação:

1 Modelos de Mineração de Dados
UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Modelos de Mineração de Dados 3/25/2017 MD - Prof. Paulemir Campos

2 MD - Prof. Paulemir Campos
Roteiro da Aula Introdução; Técnicas de Mineração de Dados; Aplicações; Referências. 3/25/2017 MD - Prof. Paulemir Campos

3 MD - Prof. Paulemir Campos
Introdução Basicamente compreende os diversos algoritmos de aprendizado de máquina, tais como: Classificação: Regressão Linear; Redes MLP e RBF; Árvores de Decisão ID3 e C4.5; Regras de Classificação. 3/25/2017 MD - Prof. Paulemir Campos

4 MD - Prof. Paulemir Campos
Introdução Basicamente compreende os diversos algoritmos de aprendizado de máquina, tais como (Cont.): Cluster ou Agrupamento: K-Means; Regras de Associação: APRIORI A seguir serão descritos alguns destes. 3/25/2017 MD - Prof. Paulemir Campos

5 MD - Prof. Paulemir Campos
Regressão Linear Utiliza uma representação matemática linear para detectar algum padrão presente nos dados observados. Modelo clássico de regressão linear: Y = X. +  onde: Y é o vetor n x 1; X é uma matriz n x (p+1) do modelo;  é uma matriz (p+1)x1 de parâmetros desconhecidos e  é um vetor de erros aleatórios nx1. 3/25/2017 MD - Prof. Paulemir Campos

6 Regressão Linear - Exemplo
3/25/2017 MD - Prof. Paulemir Campos

7 MD - Prof. Paulemir Campos
Árvores de Decisão Um método "divide e conquista" para o problema de aprendizado de um conjunto de instâncias independentes, onde a classificação é dada pelo nó folha, partindo-se da raiz da árvore. Principais algoritmos: ID3 e C4.5. 3/25/2017 MD - Prof. Paulemir Campos

8 MD - Prof. Paulemir Campos
Árvores de Decisão Algoritmo Básico: A árvore é construída recursivamente de cima para baixo no modo dividir para conquistar; No início todos os exemplos se encontram na raiz; Os atributos são discretos (os atributos contínuos são discretizados previamente); Os exemplos são particionados recursivamente com base em atributos selecionados; Os atributos são selecionados heuristicamente ou através de uma critério estatístico (ex., ganho de informação). 3/25/2017 MD - Prof. Paulemir Campos

9 MD - Prof. Paulemir Campos
Árvores de Decisão Condições de parada: Todas as amostras de um dado nó pertencem a mesma classe; Não há mais atributo disponível para futuras partições – usa-se voto da maioria para classificar a folha; Não há mais exemplos disponíveis. 3/25/2017 MD - Prof. Paulemir Campos

10 Árvores de Decisão - Exemplo
3/25/2017 MD - Prof. Paulemir Campos

11 Regras de Classificação
É uma alternativa popular para árvores de decisão. Os antecedentes de uma regra equivalem aos nós que vão sendo testados até se atingir o nó folha, que é o conseqüente dessa regra. 3/25/2017 MD - Prof. Paulemir Campos

12 Regras de Classificação
Exemplos: Se Aumento_de_Salario_1_ano > 2.5 e Estututo_de_Feriados > 10 Então Candidato_a_Promocao = Bom Se Aumento_de_Salario_1_ano =< 2.5 Então Candidato_a_Promocao = Ruim 3/25/2017 MD - Prof. Paulemir Campos

13 MD - Prof. Paulemir Campos
K-Means Dado k, o algoritmo k-means é implementado em 4 passos: Partição dos objetos em k grupos não vazios; Defina as sementes como os centróides dos grupos da partição atual; Associe cada objeto ao grupo cuja semente é a mais próxima ao mesmo; Volte para o passo 2 até que não haja novas associações de objetos a algum grupo. 3/25/2017 MD - Prof. Paulemir Campos

14 MD - Prof. Paulemir Campos
K-Means - Exemplo 3/25/2017 MD - Prof. Paulemir Campos

15 MD - Prof. Paulemir Campos
K-Means Pontos Fortes É relativamente eficiente; Geralmente encontra um ótimo local. Pontos Fracos Aplicável apenas quando a média é definida; É necessário especificar a priori k, o número de grupos; É sensível a ruídos e valores aberrantes; Não é apropriado para a descoberta de grupos não esféricos. 3/25/2017 MD - Prof. Paulemir Campos

16 MD - Prof. Paulemir Campos
Regras de Associação Diferem das regras de classificação devido a poderem predizer qualquer atributo, não somente a classe. Assim, dão a liberdade de predizer também combinações de atributos. 3/25/2017 MD - Prof. Paulemir Campos

17 MD - Prof. Paulemir Campos
Regras de Associação Conceitos Básicos: Dados: (1) conjunto de transações, (2) cada transação é uma lista de itens (comprados por um cliente em uma visita); Achar: todas as regras que correlacionam a presença de um conjunto de itens com a presença de outro conjunto de itens em uma mesma transação. 3/25/2017 MD - Prof. Paulemir Campos

18 MD - Prof. Paulemir Campos
Regras de Associação Exemplo: Dado: 98% das pessoas que compram pneus e auto-acessórios, também fazem algum serviço automotivo. Achar: todas as regras X & Y  Z com um mínimo de suporte e confiança Suporte (support), s, probabilidade que uma transação contenha {X  Y  Z}; Confiança (confidence), c, probabilidade condicional que uma transação que contenha {X  Y} também contém Z. 3/25/2017 MD - Prof. Paulemir Campos

19 MD - Prof. Paulemir Campos
Regras de Associação Assim, a idéia é: Achar os conjuntos de itens freqüentes (itemsets freqüentes): o conjunto de itens que tem um mínimo de suporte; Um subconjunto de um itemset freqüente, também deve ser um itemset freqüente; Achar iterativamente itemsets freqüentes com cardinalidade de 1 à k (k-itemset); Usar os itemsets freqüentes para gerar as regras de associação. 3/25/2017 MD - Prof. Paulemir Campos

20 MD - Prof. Paulemir Campos
Regras de Associação O Algoritmo APRIORI: Passo de união (join): Ck é gerado, unindo Lk-1 com ele mesmo; Passo de poda (prune): Qualquer (k-1)-itemset que não seja freqüente, não pode ser um subconjunto de um k-itemset freqüente. 3/25/2017 MD - Prof. Paulemir Campos

21 O Algoritmo APRIORI Exemplo
Database D L1 C1 Scan D C2 C2 L2 Scan D C3 L3 Scan D 3/25/2017 MD - Prof. Paulemir Campos

22 Aplicações Potenciais
Análise de bases de dados e suporte à decisão Análise de Mercado alvo de campanhas, análise de compras, segmentação do mercado, gerencia de relações com clientes, vendas cruzadas; Análise de Risco fidelização de clientes, controle de qualidade, análise de competitividade; Detecção de Fraude 3/25/2017 MD - Prof. Paulemir Campos

23 MD - Prof. Paulemir Campos
Referências Witten, I. H. e Frank, E. Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. Morgan Kaufmann, 1999. Han, J. e Kamber, M. Data Mining: Concepts and Techniques. Morgan Kaufmann, 2001. 3/25/2017 MD - Prof. Paulemir Campos

24 MD - Prof. Paulemir Campos
Referências Notas de aulas dos profs. Francisco A. T. de Carvalho, Paulo Adeodato e Jacques Robin de Mineração de Dados do Cin/UFPE. 3/25/2017 MD - Prof. Paulemir Campos