Mineração de Dados: Introdução Victor Ströele stroele@gmail.com 14/04/2017 Business Intelligence

Roteiro BI e Mineração de Dados Introdução Processo KDD Conjuntos de Dados Funcionalidades da MD Etapas de Desenvolvimento da MD Integração DW e MD

Business Intelligence Inteligência de negócios, ou inteligência empresarial método que visa ajudar as empresas a tomar as decisões inteligentes Análise dos clientes Clientes Mais Valiosos Clientes de Maior Potencial Clientes Negativos (geram prejuízos) Clientes Intermediários

BI e Mineração de Dados Grande volume de dados armazenado diariamente pelas empresas Estratégias de Análise para tornar a empresa mais competitiva BI: Obter a partir dos dados operativos brutos, informação útil para subsidiar a tomada de decisão nos escalões médios e altos da empresa. Mineração de Dados: Subsidiar a empresa com conhecimento novo e útil acerca do seu meio ambiente

Introdução Problema: Crescimento da quantidade de informações disponíveis e distribuídas em diversas bases de dados: Bases de dados das Empresas (várias filiais) Bancos (concessão de crédito) Internet (Redes Sociais, e-mail)

Introdução OBJETIVO “Extrair novos conhecimentos que estão escondidos em grandes bases de dados.”

Introdução Data Warehouse: repositório de múltiplas fontes de dados heterogêneos unificados em um único local. DW Bases de Dados Distribuídas

Muitos Dados, mas Pouca Informação Introdução Muitos Dados, mas Pouca Informação KDD

KDD KDD: Knowledge Discovery from Data. KDD é um processo de extração de informações úteis em bases de dados, no qual a descoberta de conhecimento é a sua última etapa.

Processo KDD Limpeza Integração Seleção Transformação Mineração dos Dados Avaliação dos Padrões Apresentação do Conhecimento

Processo KDD Componentes Principais: Repositório de informações Servidor de Banco de Dados Base de Conhecimentos Mecanismo de Mineração de Dados Avaliação dos padrões Interface com o usuário

Processo KDD Repositório de informações (Banco de Dados, Data Warehouse, Internet): Representa uma ou um conjunto de bases de dados, ou qualquer tipo de repositório utilizado para armazenamento de dados. As etapas de limpeza dos dados e técnicas de integração do processo KDD devem ser aplicadas nesses componentes

Processo KDD Servidor de Banco de Dados ou Data Warehouses: Esses servidores são responsáveis pela coleta dos dados relevantes, com base na solicitação do usuário. Base de Conhecimento: usada para guiar a pesquisa ou para avaliar o quão interessante é o padrão encontrado.

Processo KDD Mecanismo de Mineração de Dados: Este componente é fundamental para o processo KDD e consiste em um conjunto de módulos funcionais para tarefas como a caracterização, associação e análise de correlação, classificação, predição, análise de agrupamentos (cluster) e análise de outlier.

Processo KDD Módulo de Avaliação de Padrões: analisa se os resultados obtidos pelo componente de mineração de dados são interessantes. Esse módulo precisa ter uma interação com o módulo de mineração de dados para focar a busca em padrões interessantes.

Processo KDD Interface com Usuário: Estabelece a comunicação entre o processo KDD e o usuário, permitindo que o usuário interaja com o sistema como um todo.

Conjuntos de Dados Banco de Dados Relacional: Modelo mais utilizado. Carros Ano Cor Modelo ... 2005 Preto Astra 1974 Azul Claro Fusca

Conjuntos de Dados Data Warehouses: União de diversos conjuntos de dados ou Reestruturação de uma base de dados

Conjuntos de Dados Banco de Dados Transacional: Arquivos ou tabelas que armazenam as informações de uma transação. Podem existir outros arquivos ou tabelas complementares Transação Principal Número Tipo Meio 0001 Venda de Carro Vendedor Loja 0002 Venda de Som Internet ... Transação Secundária Número Data Responsável 0001 05/07/2008 José 0002 08/07/2008 Internet ...

Conjuntos de Dados Sistemas de Informação e de Dados Avançados: Banco de dados objeto-relacional Banco de Dados Temporais Banco de Dados Textuais World Wide Web

Funcionalidades Descrição de Classe/Conceito Pessoas Itens Compram muito ou pouco Adulto ou Infantil

Funcionalidades Descrição de Classe/Conceito Caracterização: resumo das características gerais ou características de uma classe de destino de dados. Discriminação: comparação entre as características gerais dos dados dos objetos da classe principal com as características gerais dos objetos de uma ou um conjunto de classes contrastantes.

Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Padrões Freqüentes: são os padrões que ocorrem com freqüência no conjunto de dados. Associação: indica como os padrões freqüentes estão relacionados. Correlação: análise estatística para determinar se as regras de associações encontradas são relevantes.

Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Regras de Associação: Compra(X, “computador”)  Compra(X, “software”) [suporte = 1%, confiança = 50%] Confiança é a certeza de que a regra irá ocorrer 50% das pessoas que compram computadores compram softwares. Suporte é a quantidade relativa que a regra representa 1% das pessoas compraram computadores.

Funcionalidades Mineração de Padrões Freqüentes, Associações e Correlações Regras de Associação: Idade(X, “20...29”) ^ Renda(X, “300,00...900,00”)  Compra(X, “CD”) [suporte = 2%, confiança = 60%] 60% das pessoas que possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00 compram CDs. 2% das pessoas analisadas possuem entre 20 e 29 anos e têm renda entre 300,00 e 900,00.

Funcionalidades Classificação e Predição Classificação é um processo de encontrar um modelo (ou função) que descreve e distingue classes de dados, com a finalidade de ser capaz de usar o modelo para prever a classe de objetos cujo rótulo da classe é desconhecido. Predição é utilizada para definir um provável valor para uma ou mais variáveis. Ex.: a previsão da cotação de uma ação na bolsa de valores.

Funcionalidades Agrupamento (clustering) Diferentemente das técnicas de classificação e predição as técnicas de agrupamento analisam os objetos sem o conhecimento prévio de qual classe cada objeto pertence.

Classificação dos Sistemas de Mineração de Dados Interdisciplinaridade da técnica A mineração de dados é um campo interdisciplinar, a confluência de um conjunto de disciplinas Estatística Mineração de dados Banco de dados Visualização Biologia Outras Disciplinas Inteligência Artificial (Redes Neurais)

Etapas do Desenvolvimento da Mineração de Dados Permitir a interação entre o usuário e o processo de mineração de dados Analisar os resultados sobre ângulos diferentes Usuário “interfere” no processo de mineração de dados Permite um desenvolvimento em etapas

Etapas do Desenvolvimento da Mineração de Dados Conjunto dos dados relevantes na mineração de dados: Parte do banco de dados ou o conjunto de dados de interesse por parte do usuário Banco de Dados? Data Warehouse? Quais atributos?

Etapas do Desenvolvimento da Mineração de Dados Tipo de conhecimento a ser extraído: Especifica as funcionalidades da mineração de dados que serão executadas Caracterização? Regras de Associação? Previsão? Agrupamento ou classificação?

Etapas do Desenvolvimento da Mineração de Dados Base de conhecimentos previamente extraídos: Auxilia no processo de descoberta de conhecimento e na análise dos padrões encontrados Hierarquia de Conceitos

Etapas do Desenvolvimento da Mineração de Dados Medidas mais interessantes ou critérios padrões de avaliação: Auxiliam o processo de mineração ou, após descoberta de conhecimento, ajudam na avaliação dos padrões encontrados Regras de associação Suporte e confiança

Etapas do Desenvolvimento da Mineração de Dados Representação visual dos padrões encontrados: Refere-se à forma em que os padrões descobertos são exibidos Regras de associação Tabelas Gráficos Diagramas Árvores de Decisão

Integração: Data Mining com Data Warehouse A comunicação das ferramentas de mineração de dados e as ferramentas de bancos de dados é uma etapa crítica para o processo de extração de conhecimento Sistema DM autônomo ou incorporado em aplicativos (não utiliza sistemas de bancos de dados ou DW) Desenvolvimento de algoritmos de mineração de dados, nos quais as informações sobre os dados já são conhecidas e estão embutidas no código fonte.

Integração: Data Mining com Data Warehouse Sistema de Mineração de dados com nenhum acoplamento Utiliza arquivos para recuperar dados e gravar os resultados obtidos. Sistemas com acoplamento flexível Lê os dados de um banco de dados ou DW e armazena os resultados em qualquer outra fonte de dados (Banco de Dados, DW, arquivos).

Integração: Data Mining com Data Warehouse Sistema com acoplamento semi-apertado Os sistemas de Banco de Dados e DW possuem funcionalidades de mineração de dados. Resultados intermediários são armazenados e auxiliam a Mineração de Dados futura. Sistemas com acoplamento apertado Sistemas de banco de dados e mineração de dados estão completamente integrados Sistema de informação que engloba Banco de Dados ou DW e a mineração de dados