Data Warehouse / Data Marts / DataMining /OLAP Apostila 7 Prof. Me. Eduardo Botelho Corrêa

Introdução Informatização dos meios produtivos permitiu a geração de grandes volumes de dados: Transações eletrônicas; Novos equipamentos científicos e industriais para observação e controle; Dispositivos de armazenamento em massa; Aproveitamento da informação permite ganho de competitividade: “conhecimento é poder Recursos de análise de dados tradicionais são inviáveis para acompanhar esta evolução: processo iterativo de criação, teste e refinamento de hipóteses;

DATA WAREHOUSE Definições Uma definição simples de Data Warehouse é a sua tradução literal para o português, Armazém de Dados. Data Warehouse é um banco de dados voltado para suporte à decisão de usuários finais, derivado de diversos outros banco de dados operacionais. Coleção de dados orientados por assunto , integrados, variáveis com o tempo e não voláteis para dar suporte ao processo de tomada de decisão. (Inmom)

Motivos que levam uma empresa a adotar a tecnologia de Data Warehouse O sucesso de uma empresa depende, entre outros fatores, da agilidade e precisão com que ela toma as suas decisões. Para que isto ocorra, é necessário que a empresa tenha informações precisas e no momento adequado. É justamente neste ponto que entra a tecnologia Data Warehouse, auxiliando na integração e consolidação dos dados.

Funções de um DATA WAREHOUSE coleta e armazenamento de dados de várias bases de dados, armazenamento de dados resumidos, fornecimento de cópia estável dos dados para consultas de suporte a decisão.

Arquitetura de um Data Warehouse

Extração de Informações do Data Warehouse

Data Mining Data Mining visa analisar dados também, só que com a utilização de métodos mais complexos, como conseqüência, os resultados são mais elaborados.

DataMining Nova tecnologia que permite extrair informações escondidas em grandes bancos de dados. Prever tendências e comportamentos futuros, permitindo aos gestores tomarem a decisão baseada em fatos e não em suposição.

Data Mining É a descoberta de conhecimento dentro em banco de dados É freqüentemente ligada com DW fornece “insights” para gerenciar oportunidades e problemas potenciais ( ou existentes)

DataMining DataMining fornece 5 tipos de informação: Associação: ocorrências estão ligadas a um evento.Por exemplo: num supermercado, quando se compra batatas fritas,compra-se também coca-cola. Sequência: eventos ligados ao longo do tempo. Por exemplo se uma casa é comprada, então 45% das vezes um fogão será comprado dentro de um mês. Classificação: mais comum nos dias de hoje. Encontrar características dos clientes e determinar quais tipos de promoções serão mais eficientes. Conjuntos: descobrir diferentes agrupamentos de dados.Utilizado, por exemplo para descobrir defeitos na fabricação de produtos Previsão: se um cliente irá renovar uma assinatura, por exemplo.

Relação DW e Data Mining São independentes e podem ser utilizados em separado. Contudo, um ambiente de análise completo necessita resultados de ambos, ou seja, o melhor é utilizar os dois em conjunto. Existe uma tendência de ter as duas formas de análise no mesmo ambiente

Exemplos de Aplicação Marketing Varejo Telecomunicações Mala direta de produtos para clientes que tem possibilidade de comprar aquele produto Varejo Produtos organizados nas prateleiras de forma que o cliente ponha no carrinho de compra os produtos que vendem em conjunto Telecomunicações Ligações fraudulentas de Celulares clonados

Exemplos de Aplicação Bancário Científico Acadêmico Liberação de empréstimos para clientes que tem caracterísitca de bom pagador Científico NASA cataloga imagem de satélites classifica eventos similares nas imagens Acadêmico Disciplinas de graduação que tem maior probabilidade de serem cursadas em conjunto

DATA MART Subconjunto de um datawarehouse: vários data marts formam um datawarehouse; Construído com um escopo menor de informações, segmentado para uma determinada área; Custa menos e leva menos tempo para ser projetado e implementado

DATA MART É um subconjunto lógico de um completo Data Warehouse [KIM98a]. Esse termo é usado para se referir a um Data Warehouse de pequena capacidade usado para atender especificamente a uma Unidades Estratégica de Negócio ou a um departamento da corporação. É um pequeno DW, com limitado escopo de dados [BON98], para representar uma função particular do negócio.

DATA MART Pode ser utilizado com projeto piloto do warehouse completo da organização Implementação mais rápida Custo de implementação menor Controle Local na Unidades Estratégica de Negócio Integração com outros Data Marts pode ser difícil se não houver um projeto mestre

Data Marts e Warehouses Os dados em um Data Warehouse : São dados operacionais consolidados. Em geral representam os dados operacionais passados, ou seja, o histórico dos dados operacionais. Unidades Estratégica de Negócio (SBU) Os requisitos entre diferentes unidades de negócio dentro de uma organização não são necessariamente comuns. Uma estratégia para atender separadamente as unidades de negócios são os data marts.

DATAWAREHOUSE /DATA MART

OLAP Conjunto de ferramentas que possibilta efetuar a exploração dos dados contidos no DW; Melhorar desempenho das pesquisas; Processo interativo: usuário faz perguntas, recebe informações, verifica um dado específico e faz comparações; Perguntas que um OLAP responde: Por que as vendas de automóveis de determinado modelo diminuem no segundo trimestre? Qual região vendeu mais? Qual diferença entre vendas de determinado produto por região ou por vendedor?

Diferenças entre DataMining x OLAP Analista gera uma hipótese e usa OLAP para verificar a hipótese; O DataMining é usado para criar a hipótese; DataMining e OLAP se complementam;

Business Intelligence Chegou a era da fidelização, da customização, da sedução do cliente e da Inteligência aplicada aos negócios. Assim sendo, os grandes bancos de dados corporativos (Data Warehouse), estão entregando aos tomadores de decisão, a informação na forma mais precisa e utilizável possível. Os dados que até então eram simples representantes de fatos comuns como nome, endereço, telefone, dentre outros, hoje se sofisticam na representação de imagens, vídeos, sons, dados temporais, indicadores econômicos, planilhas, páginas HTML.

Business Intelligence Business Intelligence define um conceito que, congrega:  Ferramentas e processos que começam com a coleta de dados, que são organizados e transformados em informação, para depois de analisada e processada se transformar em “inteligência”. Essa, por sua vez, quando aplicada aos processos de decisões, gera vantagem competitiva para a organização. (HABERKORN, 2004)

Business Intelligence O termo BI (business Intelligence) foi criado pelo mercado de sistemas com o propósito de dar uma nova “roupagem” a termos mais conceituais, como SAD e SAE. Mas na realidade, são sistemas que tem o mesmo propósito [...]” (MIGLIOLI, 2007). Com essa afirmação, muito da confusão que se cria em torno da definição de BI, se esclarece, já que BI, em última análise, pode ser entendido, como  SAD e ou SAE/EIS.

Business Intelligence BI representa a habilidade de se estruturar, acessar e explorar informações,normalmente guardadas em DW/DM (Data Warehouse, Data Marts) com o objetivo de desenvolver percepções, entendimentos e conhecimentos, os quais podem produzir um melhor processo de tomada de decisão. As aplicações de Business Intelligence, que utilizam as informações armazenadas em um Data Warehouse, podem incluir consultas e relatórios, análises, estatísticas, previsões, O BI pode utilizar informações do ERP, CRM, SCM e BSC.

Business Intelligence Business Intelligence tem como principais características: - A capacidade de extrair e integrar dados de múltiplas fontes. - A transformação dos registros obtidos em informação útil para o conhecimento empresarial. - A valorização da experiência. - A análise de dados contextualizados. - A procura de relações de causa e efeito, trabalhando com hipóteses e desenvolvendo estratégias e ações competitivas.