Mineração de Dados Introdução.

Apresentação em tema: "Mineração de Dados Introdução."— Transcrição da apresentação:

1 Mineração de Dados Introdução

2 Introdução 1/ Motivação Explosão de Dados
Ferramentas automáticas de coleta de dados +maturidade das tecnologias de bancos de dados enorme quantidade de dados armazenados em bases de dados e outros meios de armazenamento Abundancia de dados ao lado de escassez de conhecimentos

3 Introdução 2/ Motivação Explosão de Dados
Solução: data warehousing e mineração de dados descoberta de conhecimentos (regras, regularidades, padrões) a partir de enormes bases de dados

4 KDD: Descoberta de Conhecimentos a partir de bancos de dados
Avaliação dos Padrões Mineração de Dados Dados relevantes Seleção Data Warehouse Limpeza de Dados Integração de Dados Bases de dados

5 Introdução 4/ Passos do Processo KDD Estudo do domínio de aplicação
conhecimento a priori relevante, objetivo da aplicação Seleção dos dados Limpeza e pre-processamento dos dados (60% do esforço) Redução e transformação de dados seleção de atributos, redução de dimensão

6 Introdução 5/ Passos do Processo KDD Escolha dos modelos de mineração
sumário, classificação, regressão, associação, clustering Escolhas dos algoritmos de mineração Mineração de dados: busca de padrões de interesse

7 Introdução 6/ Passos do Processo KDD
Avaliação dos padrões e apresentação do conhecimento visualização, transformação, remoção de padrões redundantes Uso do conhecimento descoberto

8 Mineração de Dados e Inteligencia nos Negócios
Potencial crescente de apoio a decisões nos negócios Usuário Final Tomador de Decisões Apresentação dos Dados Analista de Negócios Tecnicas de Visualização Mineração de Dados Analista de Dados Descoberta de Informação Exploração de Dados Análise estatística, consultas, relatórios Data Warehouses / Data Marts OLAP Fontes de Dados Papeis, Arquivos, Provedores de Informação, Bases de Dados, OLTP

9 Arquitetura de um sistema usual de mineração de dados
Interface Gráfica Avaliação dos Padrões Mineração de Dados Knowledge-base Servidor de base de dados ou data warehouse Filtragem Limpeza e integração de dados Data Warehouse Bases de dados

10 Introdução 9/ Fontes de dados para a mineração
Bases de dados relacionais Data warehouses Bases de dados transacionais

11 Introdução 10/ Fontes de dados para a mineração
Bases de dados avançadas e repositórios de dados bases de dados orientada objeto e bases de dados objeto-relacional bases de dados espaciais dados temporais e seqüenciais bases de dados textuais e bases de dados multimídia bases de dados heterogêneas WWW

12 Introdução 11/ Funcionalidades da mineração de dados
Descrição de conceitos: caracterização e discriminação Generaliza, resume e contrasta as características dos dados Associação: correlação e causualidade associação multi-dimensional versus associação uni-dimensional idade(X, “20..29”) ^ renda(X, “20..29K”)  compra(X, “PC”) [suporte = 2%, confiancia = 60%]

13 Introdução 12/ Funcionalidades da mineração de dados
Classificação e previsão Construir modelos (funções) que descrevem e distinguem classes ou conceitos para previsões futuras modelos: redes neurais, arvores de decisão, regras de classificação Previsão: prever valores numéricos ausentes ou desconhecidos

14 Introdução 13/ Funcionalidades da mineração de dados
Análise de cluster os rótulos das classes são desconhecidos agrupar dados para formar novas classes O agrupamento é baseado em: maximizar a similaridade intra-classe e minimizar a similaridade inter-classe

15 Introdução 14/ Funcionalidades da mineração de dados
Análise de valores aberrantes (outliers) Outilier : um dado que diverge do comportamento geral dos dados Pode ser considerado ruido ou exceção comum em detecção de fraudes e análise de eventos raros

16 Introdução 15/ Funcionalidades da mineração de dados
Análise de tendência e evolução tendência e desvio: análise de regressão Mineração de padrões seqüenciais: análise de periodicidade análise baseada em similaridade

17 Introdução 16/ Interesse dos padrões descobertos
Um sistema de mineração de dados pode gerar centenas de padrões nem todos são de interesse Um padrão é interessante, se ele é facilmente entendido pelos humanos, validado em dados independentes, potencialmente útil, novo, ou valida alguma hipótese que o usuário procurava confirmar

18 Introdução 17/ Interesse dos padrões descobertos
Medidas de interesse de um padrão objetivas: baseadas em estatísticas e estruturas dos padrões (suporte, confiança) subjetivas: baseadas nas crenças do usuário nos dados (novidade inesperada)

19 Mineração de Dados: Confluencia de Multiplas Disciplinas
Tecnologia de Bases de Dados Estatística Mineração de Dados Aprendizagem de Máquina Visualização Ciências da Informação Outras Disciplinas

20 Introdução 19/ Mineração de Dados: Classificação Funcionalidade geral
Mineração de dados descritiva Mineração de dados preditiva Outros critérios tipo de base de dados a ser minerada tipo de conhecimento a ser descoberto tipo de técnica a ser utilizada tipo de aplicações

21 Introdução 20/ Mineração de Dados: Classificação
Base de dados a ser minerada relacional, transacional, orientada objeto, objeto-relacional, espacial, temporal, textual, multimídia, heterogênea, WWW Conhecimento a ser minerado Caracterização, descriminação, associação, classificação, clustering, tendência e análise de desvio Funções múltiplas e integradas e mineração a níveis múltiplos

22 Introdução 21/ Mineração de Dados: Aplicações potenciais
Análise de bases de dados e suporte a decisão análise de mercado alvo de campanhas, análise de compras, segmentação do mercado, gerencia de relações com clientes, vendas cruzadas análise de risco fidelização de clientes, controle de qualidade, análise de competitividade detecção de fraude

23 Introdução 22/ Mineração de Dados: Aplicações potenciais
Análise de bases de dados e suporte a decisão detecção de fraude Outras aplicações Mineração de texto ( , documentos) e web analise

24 Introdução 23/ Análise de Mercado Fontes de dados para análise
transações de cartão, cartões de fidelidade, cupons de desconto, queixas de clientes, estudos de estilos de vida Alvo de campanhas encontrar grupos de clientes que partilham as mesmas características: interesse, nível de renda, hábitos de consumo

25 Introdução 24/ Análise de Mercado
padrões de compras de clientes no tempo conversão para uma conta conjunta: casamento Análise cruzada de mercado associações/correlações entre vendas de produtos previsão baseada nas informações de associação

26 Introdução 25/ Análise de Mercado perfil de consumidores
que tipo de consumidores compra que tipo de produto Identificação das exigências dos consumidores identificação dos melhores produtos para diferentes tipos de clientes encontrar que fatores atrairão novos clientes

27 Introdução 26/ Análise de Mercado sumários
relatários muti-dimensionais sumários estatísticos (medidas de tendência central e de dispersão)

28 Introdução 27/ Análise de Risco
Plano financeiro e avaliação de recursos análise de fluxo de caixa Planificação de receitas sumário e comparação de receitas e despesas Competição agrupar clientes em classes e oferecer preços baseados em classes

29 Introdução 28/ Detecção de fraudes aplicações
planos de saúde, varejo, cartões de crédito, fraude em cartões telefônicos Abordagem uso de dados históricos para construir modelos de comportamento fraudulento e uso de mineração de dados para ajudar a identificar instancias similares

30 Introdução 29/ Detecção de fraudes Exemplos seguro de carros
transações monetárias fraudulentas seguro de saúde detecção de tratamento médico inapropriado detecção de fraude telefônica varejo

31 Introdução 30/ Tendências em Mineração
metodologia de mineração e iteração com o usuário desempenho e escalabilidade diversidade de tipos de dados aplicações e impactos sociais