Mineração de Dados: Introdução

Apresentação em tema: "Mineração de Dados: Introdução"— Transcrição da apresentação:

1 Mineração de Dados: Introdução
Victor Ströele 14/04/2017 Business Intelligence

2 Roteiro BI e Mineração de Dados Introdução Processo KDD
Conjuntos de Dados Funcionalidades da MD Etapas de Desenvolvimento da MD Integração DW e MD

3 Business Intelligence
Inteligência de negócios, ou inteligência empresarial método que visa ajudar as empresas a tomar as decisões inteligentes Análise dos clientes Clientes Mais Valiosos Clientes de Maior Potencial Clientes Negativos (geram prejuízos) Clientes Intermediários

4 BI e Mineração de Dados Grande volume de dados armazenado diariamente pelas empresas Estratégias de Análise para tornar a empresa mais competitiva BI: Obter a partir dos dados operativos brutos, informação útil para subsidiar a tomada de decisão nos escalões médios e altos da empresa. Mineração de Dados: Subsidiar a empresa com conhecimento novo e útil acerca do seu meio ambiente

5 Introdução Problema: Crescimento da quantidade de informações disponíveis e distribuídas em diversas bases de dados: Bases de dados das Empresas (várias filiais) Bancos (concessão de crédito) Internet (Redes Sociais, )

6 Introdução OBJETIVO “Extrair novos conhecimentos que estão escondidos em grandes bases de dados.”

7 Introdução Data Warehouse: repositório de múltiplas fontes de dados heterogêneos unificados em um único local. DW Bases de Dados Distribuídas

8 Muitos Dados, mas Pouca Informação
Introdução Muitos Dados, mas Pouca Informação KDD

9 KDD KDD: Knowledge Discovery from Data.
KDD é um processo de extração de informações úteis em bases de dados, no qual a descoberta de conhecimento é a sua última etapa.

10 Processo KDD Limpeza Integração Seleção Transformação
Mineração dos Dados Avaliação dos Padrões Apresentação do Conhecimento

11 Processo KDD Componentes Principais: Repositório de informações
Servidor de Banco de Dados Base de Conhecimentos Mecanismo de Mineração de Dados Avaliação dos padrões Interface com o usuário

12 Processo KDD Repositório de informações (Banco de Dados, Data Warehouse, Internet): Representa uma ou um conjunto de bases de dados, ou qualquer tipo de repositório utilizado para armazenamento de dados. As etapas de limpeza dos dados e técnicas de integração do processo KDD devem ser aplicadas nesses componentes

13 Processo KDD Servidor de Banco de Dados ou Data Warehouses: Esses servidores são responsáveis pela coleta dos dados relevantes, com base na solicitação do usuário. Base de Conhecimento: usada para guiar a pesquisa ou para avaliar o quão interessante é o padrão encontrado.

14 Processo KDD Mecanismo de Mineração de Dados: Este componente é fundamental para o processo KDD e consiste em um conjunto de módulos funcionais para tarefas como a caracterização, associação e análise de correlação, classificação, predição, análise de agrupamentos (cluster) e análise de outlier.

15 Processo KDD Módulo de Avaliação de Padrões: analisa se os resultados obtidos pelo componente de mineração de dados são interessantes. Esse módulo precisa ter uma interação com o módulo de mineração de dados para focar a busca em padrões interessantes.

16 Processo KDD Interface com Usuário: Estabelece a comunicação entre o processo KDD e o usuário, permitindo que o usuário interaja com o sistema como um todo.

17 Conjuntos de Dados Banco de Dados Relacional: Modelo mais utilizado.
Carros Ano Cor Modelo ... 2005 Preto Astra 1974 Azul Claro Fusca

18 Conjuntos de Dados Data Warehouses:
União de diversos conjuntos de dados ou Reestruturação de uma base de dados

19 Conjuntos de Dados Banco de Dados Transacional:
Arquivos ou tabelas que armazenam as informações de uma transação. Podem existir outros arquivos ou tabelas complementares Transação Principal Número Tipo Meio 0001 Venda de Carro Vendedor Loja 0002 Venda de Som Internet ... Transação Secundária Número Data Responsável 0001 05/07/2008 José 0002 08/07/2008 Internet ...

20 Conjuntos de Dados Sistemas de Informação e de Dados Avançados:
Banco de dados objeto-relacional Banco de Dados Temporais Banco de Dados Textuais World Wide Web

21 Funcionalidades Descrição de Classe/Conceito Pessoas Itens
Compram muito ou pouco Adulto ou Infantil

22 Funcionalidades Descrição de Classe/Conceito
Caracterização: resumo das características gerais ou características de uma classe de destino de dados. Discriminação: comparação entre as características gerais dos dados dos objetos da classe principal com as características gerais dos objetos de uma ou um conjunto de classes contrastantes.

23 Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Padrões Freqüentes: são os padrões que ocorrem com freqüência no conjunto de dados. Associação: indica como os padrões freqüentes estão relacionados. Correlação: análise estatística para determinar se as regras de associações encontradas são relevantes.

24 Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Regras de Associação: Compra(X, “computador”)  Compra(X, “software”) [suporte = 1%, confiança = 50%] Confiança é a certeza de que a regra irá ocorrer 50% das pessoas que compram computadores compram softwares. Suporte é a quantidade relativa que a regra representa 1% das pessoas compraram computadores.

25 Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Regras de Associação: Idade(X, “ ”) ^ Renda(X, “300, ,00”)  Compra(X, “CD”) [suporte = 2%, confiança = 60%] 60% das pessoas que possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00 compram CDs. 2% das pessoas analisadas possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00.

26 Funcionalidades Classificação e Predição
Classificação é um processo de encontrar um modelo (ou função) que descreve e distingue classes de dados, com a finalidade de ser capaz de usar o modelo para prever a classe de objetos cujo rótulo da classe é desconhecido. Predição é utilizada para definir um provável valor para uma ou mais variáveis. Ex.: a previsão da cotação de uma ação na bolsa de valores.

27 Funcionalidades Agrupamento (clustering)
Diferentemente das técnicas de classificação e predição as técnicas de agrupamento analisam os objetos sem o conhecimento prévio de qual classe cada objeto pertence.

28 Classificação dos Sistemas de Mineração de Dados
Interdisciplinaridade da técnica A mineração de dados é um campo interdisciplinar, a confluência de um conjunto de disciplinas Estatística Mineração de dados Banco de dados Visualização Biologia Outras Disciplinas Inteligência Artificial (Redes Neurais)

29 Etapas do Desenvolvimento da Mineração de Dados
Permitir a interação entre o usuário e o processo de mineração de dados Analisar os resultados sobre ângulos diferentes Usuário “interfere” no processo de mineração de dados Permite um desenvolvimento em etapas

30 Etapas do Desenvolvimento da Mineração de Dados
Conjunto dos dados relevantes na mineração de dados: Parte do banco de dados ou o conjunto de dados de interesse por parte do usuário Banco de Dados? Data Warehouse? Quais atributos?

31 Etapas do Desenvolvimento da Mineração de Dados
Tipo de conhecimento a ser extraído: Especifica as funcionalidades da mineração de dados que serão executadas Caracterização? Regras de Associação? Previsão? Agrupamento ou classificação?

32 Etapas do Desenvolvimento da Mineração de Dados
Base de conhecimentos previamente extraídos: Auxilia no processo de descoberta de conhecimento e na análise dos padrões encontrados Hierarquia de Conceitos

33 Etapas do Desenvolvimento da Mineração de Dados
Medidas mais interessantes ou critérios padrões de avaliação: Auxiliam o processo de mineração ou, após descoberta de conhecimento, ajudam na avaliação dos padrões encontrados Regras de associação Suporte e confiança

34 Etapas do Desenvolvimento da Mineração de Dados
Representação visual dos padrões encontrados: Refere-se à forma em que os padrões descobertos são exibidos Regras de associação Tabelas Gráficos Diagramas Árvores de Decisão

35 Integração: Data Mining com Data Warehouse
A comunicação das ferramentas de mineração de dados e as ferramentas de bancos de dados é uma etapa crítica para o processo de extração de conhecimento Sistema DM autônomo ou incorporado em aplicativos (não utiliza sistemas de bancos de dados ou DW) Desenvolvimento de algoritmos de mineração de dados, nos quais as informações sobre os dados já são conhecidas e estão embutidas no código fonte.

36 Integração: Data Mining com Data Warehouse
Sistema de Mineração de dados com nenhum acoplamento Utiliza arquivos para recuperar dados e gravar os resultados obtidos. Sistemas com acoplamento flexível Lê os dados de um banco de dados ou DW e armazena os resultados em qualquer outra fonte de dados (Banco de Dados, DW, arquivos).

37 Integração: Data Mining com Data Warehouse
Sistema com acoplamento semi-apertado Os sistemas de Banco de Dados e DW possuem funcionalidades de mineração de dados. Resultados intermediários são armazenados e auxiliam a Mineração de Dados futura. Sistemas com acoplamento apertado Sistemas de banco de dados e mineração de dados estão completamente integrados Sistema de informação que engloba Banco de Dados ou DW e a mineração de dados