Data Warehouse & Data Mining UNIFEI – Universidade Federal de Itajubá Instituto de Engenharia de Produção e Gestão Administração de Empresas Data Warehouse & Data Mining Alice Beraldo – 14342 Glalber Monteiro – 13376 Larissa Gomes – 14327 Matheus Reis – 14747 Paula Ribeiro – 14336 Vinícius Noronha – 14344 ADM – 11 1

Data Warehouse & Data Mining Sumário Introdução Conceitos de Data Ware House e Data Mining Sistemas Gerenciais Custos Aplicações Estudos de caso Conclusão Data Warehouse & Data Mining 2/20

Introdução GRANDE VOLUME DE DADOS MUITAS INFORMAÇÕES X DIFICULDADE DA ANÁLISE DE INFORMAÇÕES DIFICULDADE NA TOMADA DE DECISÕES Estima-se que a quantidade de informação no mundo dobra a cada 20 meses e que a quantidade e o tamanho dos bancos de dados aumenta num ritmo ainda maior. A dificuldade da tomada de decisões devido ao grande volume de dados e informações prejudica o desempenho da empresa e a deixa em desvantagem competitiva. Organizar os dados e as informações é a tarefa dos sistemas de informação, que propicia a organização uma melhor tomada de decisão e consequentemente vantagem competitiva Data Warehouse & Data Mining 3/20 1

Data Warehouse & Data Mining Crescimento do volume de dados 1970 1980 1990 2000 Volume dos Dados Fonte: Santos, 2000. Os volumes dos bancos de dados fazem com que a habilidade técnica e a capacidade humana na captação e interpretação sejam ultrapassadas (Feldens, 1999). Curva do crescimento de volume de dados!!! TEM QUE FALAR ISSO DAQUI PARA FECHAR A INTRODUÇÃO O sistema de informação, Data Warehouse e data mining vem para organizar esses dados e ajudar na tomada de decisões… Data Warehouse & Data Mining 4/20 1

Data Warehouse

Data Warehouse & Data Mining Banco de dados para apoio a decisão Dados arrumados e etiquetados em prateleiras de fácil acesso Disponível para consultas e não transações A idéia de data warehouse é integrar os dados internos e externos de uma organização em uma estrutura única permitindo uma melhor utilização dos dados pelos analistas, gerentes e executivos. Uma vez obtida a integração, sistemas como OLAP (On-Line Analytical Processing) e data mining fornecem mecanismos sofisticados para análise dos dados. O data warehouse é um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um data warehouse requer a consolidação de outros recursos de dados além dos armazenados em base de dados relacionais, incluindo informações provenientes de planilhas eletrônicas, documentos textuais, etc. Data Warehouse & Data Mining 6/20 1

Extraindo informações Ferramentas de consulta e emissão de relatórios; EIS (Executive Information Systems); Ferramentas OLAP; Ferramentas Data Mining. Existem várias maneiras de recuperar informações de um data warehouse, as formas de extração mais comuns no mercado hoje são: • Ferramentas de consulta e emissão de relatórios; • EIS (Executive Information Systems); • Ferramentas OLAP; • Ferramentas Data mining. A nova tendência dessas soluções é a integração com o ambiente Web, permitindo maior agilidade em consultas estáticas e dinâmicas. Neste artigo veremos de forma básica e separadamente os conceitos das tecnologias OLAP e Data mining. A diferença básica entre ferramentas OLAP e data mining está na maneira como a exploração dos dados é abordada. Com ferramentas OLAP a exploração é feita na base da verificação, isto é, o analista conhece a questão, elabora uma hipótese e utiliza a ferramenta para confirmá-la. Com data mining, a questão é total ou parcialmente desconhecida e a ferramenta é utilizada para a busca de conhecimento. Data Warehouse & Data Mining 7/20 1

Data Mining

Data Warehouse & Data Mining Definição Data Mining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar decisões cruciais. Data Warehouse & Data Mining 9/20

Data Warehouse & Data Mining Análise Prévia Previsão Tomada de decisões É um conjunto de técnicas automáticas para descobrir conhecimento implícito em grandes quantidades de dados Mineração de dados é a tarefa central da descoberta de conhecimento. 1- Faz uma análise antecipada dos eventos, que possibilita prever tendências e comportamentos futuros, o que permite aos gestores tomarem decisões baseadas em fatos e não em suposições 2 – O Data Mining descobre tendências em grandes quantidades de dados. Para isso utiliza de técnicas automáticas, sendo assim, descobre um conhecimento escondido no banco de dados. Data Warehouse & Data Mining 10/20 1

Data Warehouse & Data Mining Busca do conhecimento A figura mostra a busca do conhecimento através do banco de dados. O Data Warehouse vai até transformação, fornecendo dados trasformados A partir daí entra o Data Mining, que descobre padrões As setas indicam que há mobilidade de qualquer etapa do processo. Data Warehouse & Data Mining 11/20 1

Data Warehouse & Data Mining Sistemas Gerenciais Data Ware House Sistema de Informação Gerencial – SIG Busca de dados Processamento Transformação em informações Data Mining Sistema de Apoio à Decisão – SAD Identifica tendências Mostra caminhos O Data Wharehouse, busca dados em todas as áreas da organização (clientes, fornecedores, matéria prima ...), dessa forma os dados coletados e processados pelo DW são pertencentes ao Sistema de Informação Gerencial - SIG, pois ele fornece todas as informações necessárias a respeito da empresa. (Ver o slide 11) O Data Mining, por sua vez, analisa os dados e os transforma em informação útil para a empresa, é pertencente ao Sistema de Apoio à Decisão - SAD, pois determina a estratégia competitiva a ser adotada pela empresa. Data Warehouse & Data Mining 12/20 1

Data Warehouse & Data Mining Custos Proporcional a infraestrutura Depende do nível estratégico Eficiência e eficácia Precisão Custos Os custos de um sistema de Data Mining é proporcional ao tamanho e à infra estrutura da base de dados que será trabalhada. Outro fator determinante no preço desse software é o quão estratégico e eficiente ele seria para o cliente.   Da mesma forma em que é possível encontrar softwares gratuitos na internet, também existem os sistemas mais complexos e com maior porcentagem de precisão, sua implementação pode custar até 1 milhão. Dessa forma, é necessário adequar o software à necessidade da corporação, para que n]ao haja prejuízo ou gastos desnecessários. – FOCO! Data Warehouse & Data Mining 13/20 1

Data Warehouse & Data Mining Aplicações Vendas e Marketing Identificar padrões de comportamento de consumidores Associar comportamentos à características demográficas de consumidores Campanhas de marketing direto (mailing campaigns) Identificar consumidores “leais” Data Warehouse & Data Mining 14/20

Aplicações em potencial Bancos Identificar padrões de fraudes (cartões de crédito) Identificar características de correntistas Mercado Financeiro Médica Comportamento de pacientes Identificar terapias de sucessos para diferentes tratamentos Fraudes em planos de saúdes Comportamento de usuários de planos de saúde Como o Data Mining pode ser aplicado Em ambos os casos ele pode ser usado para identificar tendências de comportamento dos clientes ou pacientes Combina dados diferentes Fraudes: identifica outliers (dados fora do normal) Data Warehouse & Data Mining 15/20 1

Estudos de caso

Data Warehouse & Data Mining Enviava 1 milhão de malas diretas para correntistas Somente 2% respondia as correspondências Hoje o banco de dados armazena as movimentações dos clientes nos últimos 18 meses O Data Mining permite analisar tendências de movimentações O banco envia cartas somente para quem tem mais chance de responder – retorno 30% O Itaú costumava enviar mais de 1 milhão de malas diretas, para todos os correntistas. No máximo 2% deles respondiam às promoções. Hoje, o banco tem armazenada toda a movimentação financeira de seus 3 milhões de clientes nos últimos 18 meses. A análise desses dados permite que cartas sejam enviadas apenas a quem tem maior chance de responder. A taxa de retorno subiu para 30%. A conta do correio foi reduzida a um quinto. Data Warehouse & Data Mining 17/20 1

Data Warehouse & Data Mining A Sprint, um dos líderes no mercado americano de telefonia de longa distância, desenvolveu, com base no seu armazém de dados, um método capaz de prever com 61% de segurança se um consumidor trocaria de companhia telefônica dentro de um período de dois meses. Com um marketing agressivo, conseguiu evitar a deserção de 120 000 clientes e uma perda de 35 milhões de dólares em faturamento. Data Warehouse & Data Mining 18/20

Conclusão Data mining vai muito além da simples consulta a um banco de dados, no sentido de que permite aos usuários explorar e inferir informação útil a partir dos dados, descobrindo relacionamentos escondidos no banco de dados. Pode ser considerada uma forma de descobrimento de conhecimento em bancos de dados, área de pesquisa de bastante evidência no momento, envolvendo Inteligência Artificial e Banco de Dados. Um ambiente de apoio à tomada de decisões (SAD – sistema de apoio a decisão), integrando técnicas de data mining sobre um ambiente de data warehousing, possibilita um grande número de aplicações, que já vêm sendo implementadas em diversos segmentos de negócios, como manufatura, automação de pedido de remessas, varejo, gerenciamento de inventários, financeiro, análise de risco, transporte, gerenciamento de frotas, telecomunicação, análise de chamadas, saúde, analise de resultados, markenting, estabelecimento do perfil dos consumidores, seguros, detecção de fraude, dentre outros. 1

Referências bibliográficas Disponível em <http://www.redeinformatica.com.br/aruanda/files/BusinessIntelligence.ppt> Acessado em: 20/06/2009 CARDOSO, O. N. P.; MACHADO R. T. M., Gestão do Conhecimento usando Data Mining: estudo de caso na UFLA, 2005 CARVALHO, I. C., Métodos de Mineração de dados (Data Mining) como suporte à tomada de decisão, 2002 JESUS, A. P.; MOSER, E. M.; SILVA, J. U., Personalização de Sistemas WEB utilizando Data Mining: um estudo de caso aplicado na Biblioteca Central da FURB. Arakaki, E. M.; GUERRA, M. F. L., Descoberta de conhecimento em Base de Dados e Mineração de Dados. Disponível em: < http://www.fp2.com.br/datamining/?cat=4> Acessado em: 19/06/2009 Data Warehouse & Data Mining 20/20