A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Mestrando: Vinicius Prodocimo Professor: Alcides Calsavara DATA WAREHOUSE.

Apresentações semelhantes


Apresentação em tema: "Mestrando: Vinicius Prodocimo Professor: Alcides Calsavara DATA WAREHOUSE."— Transcrição da apresentação:

1 Mestrando: Vinicius Prodocimo Professor: Alcides Calsavara DATA WAREHOUSE

2 Data Warehouse - Agenda o Introdução o Características o Arquitetura o Modelos de Dados o Desenvolvimento de um Data Warehouse (DW) o Extração de Informações de um DW o Conclusão

3 Data Warehouse - Introdução o Crescimento de dados relacionados aos negócios mas não relacionados entre si promoveram o surgimento do DW; o Características: 8 Utilização de dados estratégicos: apoio à tomada de decisões através de fatos históricos (anteriormente utilizava-se a experiência dos administradores do negócio); 8 Banco de Dado especializado em integração: BD corpora- tivos e fontes externas; 8 Não é um produto pronto; 8 Consultas à sua base não afetam as bases que o alimentam; 8 Fornece recursos e informações suficientes para um Sistema de Apoio à Decisão; 8 Possui novas formas de armazenamento, processamento paralelo e distribuído; 8 Integra dados de diferentes plataformas.

4 Data Warehouse - Características o Dados classificados por assunto o Integração de representação para facilitar as consultas o Variação no tempo o Dados não são modificados o Localização o Credibilidade dos dados o Granularidade temporal das informações

5 Data Warehouse - Características Orientação por assunto Ô Orientação por assunto o Qual a informação mais importante para a organização? o Análise direcionada à necessidade da organização o Ex.: Uma empresa que vende produtos alimentícios no varejo tem seu maior interesse no perfil de seus compradores e não em quais produtos vende. Portanto o DW deve ser direciona- do para o perfil dos compradores.

6 Data Warehouse - Características Integração da representação Ô Integração da representação o Característica mais importante do DW o Representação única para as informações provindas de diversos sistemas. o Ex.: Representação do sexo de uma pessoa: AMBIENTE OPERACIONAL Aplicação X - M ou F Aplicação Y - H ou M Aplicação Z - 0 ou 1 DATA WAREHOUSE M ou F

7 Data Warehouse - Características Variação no tempo Ô Variação no tempo o Informações atualizadas em períodos de 24 horas; o Pode apresentar-se como: 8 Em um DW os dados podem estar presentes em hori- zontes maiores de 5 anos podendo chegar até o limite de idade dos dados; 8 O metadados também possuem relação temporal; 8 Os dados não são mais atualizados.

8 Data Warehouse - Características Variação no tempo Ô Variação no tempo o Os dados em um DW podem ser considerados como: 8 Dados detalhados atuais: m Acontecimentos mais recentes; m São em grandes volumes; m Tem baixo nível de granularidade; m São armazenados em meios de rápido acesso. 8 Dados detalhados antigos: m Acontecimentos mais antigos; m São normalmente armazenados em fitas.

9 Data Warehouse - Características Não volatilidade Ô Não volatilidade o Não existem alterações no DW; o É feita somente a carga e consultas posteriores.

10 Data Warehouse - Características Localização Ô Localização o Os dados podem estar fisicamente armazenados como: 8 Um único local, centralizando o DW; 8 Distribuído por áreas de interesse (arquitetura federativa); 8 Distribuídos por níveis de detalhe (dados altamente resumidos, dados detalhados,... ).

11 Data Warehouse - Características Localização Ô Localização DADOS DETALHADOS ATUAIS Dados altamente resumidos Dados levemente resumidos Dados detalhados antigos SÍNTESESÍNTESE ENVELHECIMENTOENVELHECIMENTO

12 Data Warehouse - Características Credibilidade dos dados Ô Credibilidade dos dados o Precisão: grau de informações que estão corretas; o Abrangência: grau de dados requisitados e atendidos; o Consistência: consistência dos dados/liberdade de contradição; o Coerência: coerência lógica que permite criar relações; o Tempo de resposta: tempo entre o pedido e a resposta; o Singularidade: percentual dos dados que têm valores dentro dos domínios de valores permitidos.

13 Data Warehouse - Características Granularidade Ô Granularidade o Diz respeito ao nível de detalhe dos dados numa unidade; Produto Data Qtd Valor A1 13/09/ ,00 B1 14/09/ ,00 A1 16/09/ ,00 A1 16/09/ ,00 BAIXA ALTA Mês/Ano Produto Qtd Valor 09/98 A ,00 09/98 B ,00

14 Data Warehouse - Características Metadados Ô Metadados o São dados sobre os dados; o Podem ser apresentados em três camadas: 8 Metadados operacionais; 8 Metadados centrais do DW; 8 Metadados do nível do usuário.

15 Data Warehouse - Características Metadados Ô Metadados o Podem ser classificados como: 8 Mapeamento; 8 Histórico; 8 Miscelânea; 8 Algoritmos de sumarização; 8 Padrões de acesso.

16 Data Warehouse - Características Metadados Ô Metadados o Mantém informações sobre: 8 A estrutura dos dados segundo a visão do programador; 8 A estrutura dos dados segundo a visão do analista SAD; 8 A fonte de dados que alimenta o DW; 8 A transformação sofrida pelos dados, na migração p/DW; 8 O modelo de dados; 8 O relacionamento entre o modelo de dados e o DW; 8 O histórico das extrações de dados.

17 Data Warehouse - Arquitetura o A arquitetura deve ser constituída de forma à: 8 Coletar dados de forma eficiente e rápida; 8 Manipular dados de forma eficiente e rápida; 8 Representar dados de forma eficiente e rápida.

18 Data Warehouse - Arquitetura o Arquitetura genérica segundo Orr: ACESSO À INFORMAÇÃO DW ACESSO AO DADO TRANSPORTE ACESSO A DADOS BD OPERAC. BD EXTERNAS METADADOS GERENCIADOR DE PROCESSOS META DADOS USUÁRIO DW

19 Data Warehouse - Arquitetura o Arquitetura segundo Chaudhuri (fluxos de dados): Data Warehouse (SGBD) Fontes Internas Fontes Externas Componente back-end Componente front-end Repositório de metadados

20 Data Warehouse - Arquitetura o Arquitetura segundo Valente: Data Warehouse (SGBD) Fontes Externas EXTRATOR Fontes Internas EXTRATOR CONSULTAS INTEGRADOR

21 Data Warehouse - Modelo de Dados o Modelo de dados segundo R.Kimball; o Modelo de dados segundo W.H.Inmon;

22 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball o É dividido em: u Modelo empresarial; u Modelo dimensional; u Modelo físico.

23 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Empresarial o Primeiro passo: análise do modelo de dados para construir um modelo E-R normalizado para as regras do negócio; o Não importa como as informações serão recuperadas ou utilizadas; o Foco nas estruturas da informação: atributos e relações; o Quais são os dados relevantes para o DW;

24 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Empresarial o Segundo passo: normalização do modelo; o O modelo empresarial não será implementado; o Terceiro passo: desenvolver um modelo E-R normalizado das regras de negócio e a definição das regras de integridade.

25 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Dimensional o Visão dos dados em diferentes perspectivas (dimensões); o A forma de como as agregações são armazenadas podem ser vista em termos de dimensões e coordenadas, dando origem ao modelo multidimensional; o Armazenamento em estruturas relacionais: Modelo Estrela

26 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Dimensional MODELO ESTRELA u Facilita o entendimento dos termos de negócio para o usuário; u Composto: p Tabela de fatos ao centro (tabela dominante) p Tabelas de dimensão (tabelas conectadas aos fatos) u A tabela de fatos contém milhares ou milhões de valores

27 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Dimensional MODELO ESTRELA chave_tempo chave_produto chave_loja reais_vendidos unidades_vendidas FATOS VENDAS chave_produto descrição marca categoria DIMENSÃO PRODUTO chave_loja nome_loja endereço tipo DIMENSÃO LOJA

28 Data Warehouse - Modelo de Dados é Modelo de dados segundo R.Kimball - Físico o Propósito: alcançar os objetivos de desempenho; o Depende de: u SGBD u Configuração de Hardware o Utilização de processamento paralelo.

29 Data Warehouse - Modelo de Dados é Modelo de dados segundo W.H.Inmon o Dividido em: u Modelo de alto nível; u Modelo de nível intermediário; u Modelo de baixo nível.

30 Data Warehouse - Modelo de Dados é Modelo de dados segundo W.H.Inmon - Alto nível o Apresenta-se somente as entidades e seus relacionamentos; o Mais alto nível de abstração. CLIENTEPEDIDO ESTOQUEPRODUÇÃO

31 Data Warehouse - Modelo de Dados é Modelo de dados segundo W.H.Inmon - Nível Intermediário o Criado à partir de áreas de interesse ou entidades; o Para cada área de interesse ou entidade é criado: u Agrupamento primário: atributos que aparecem uma vez; u Agrupamento secundário: atributos que aparecem mais de uma vez; u Conector: representa os relacionamentos; u Tipo dos dados.

32 Data Warehouse - Modelo de Dados é Modelo de dados segundo W.H.Inmon - Nível Intermediário chave_tempo nr_venda reais_vendidos VENDAS chave_produto descrição marca categoria PRODUTO nr_venda chave_produto PRODUTO_VENDA AGRUPAMENTO PRIMÁRIO AGRUPAMENTO SECUNDÁRIO CONECTOR

33 Data Warehouse - Modelo de Dados é Modelo de dados segundo W.H.Inmon - Baixo Nível o Expande o nível intermediário para que: u Apresente chaves; u Características físicas; u Características de desempenho.

34 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Remoção dos dados puramente operacionais: #ID Nota Fiscal Data de Emissão ID Consumidor Mensagem Descrição Termos Status MODELO E-R DADOS OPERACIONAIS #ID Nota Fiscal Data de Emissão ID Consumidor MODELO DW

35 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Adição de um elemento de tempo na estrutura da chave: #ID Consumidor Nome Data de Nascimento Estado Civil Limite de Crédito MODELO E-R #ID Consumidor #Data do Snapshot Nome Data de Nascimento Estado Civil Limite de Crédito MODELO DW

36 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Introdução de dados derivados: #ID Nota Fiscal # Item Código do Produto Quantidade Preço Unitário MODELO E-R #ID Nota Fiscal # Item Código do Produto Quantidade Preço Unitário Total Comprado Custo do Produto MODELO DW DADOS DERIVADOS

37 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Transformação de Relacionamento entre dados em artefatos de dados: PRODUTOS #Código do Produto Descrição Unidade de Medida Fornecedor Preferido Cidade do Fornecedor Estado do Fornecedor MODELO DW PRODUTO # Código do Produto Descrição Unidade de Medida MODELO E-R FORNECEDOR PROD. # Código do Produto # Código do Consum. Fornecedor Preferido MODELO E-R

38 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Acomodação dos diferentes níveis de granularidade: ATIVIDADE DE ENTREGA Data da Entrega Código da Entrega Enviado por Enviado para Quantidade MODELO E-R CÓDIGO DO PEDIDOINVENTÁRIO POR ITEM ENTREGAS MENSAIS #Ano/Mês Número de Entregas Valor da Entrega MODELO DW SUMAR.POR PRODUTO #Ano/Mês # Produto Número de Entregas Valor da Entrega MODELO DW

39 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o União dos dados comuns de diferentes tabelas: ê Devem ser respeitadas as seguintes condições: u As tabelas compartilham uma chave comum(ou parcial) u Os dados das diferentes tabelas são usados juntos u O Padrão de inserção nas tabelas é o mesmo.

40 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Criação de arrays de dados: #COD.Previsão Gasto Gasto Mensal/Anual Valor do Gasto MODELO E-R #COD.Previsão Gasto # Ano Valor em Janeiro Valor em Fevereiro... Valor em Dezembro MODELO DW

41 Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Separação dos atributos de dados de acordo com sua estabilidade: Código Descrição Principal substituta Quantidade atual Unidade de compra Fornecedor Prazo de entrega Taxa de rejeição Transportadora Local última entrega Manifesto carga TABELA DE PREÇOS Raramente é Alterada Regularmente é Alterada Freqüentemente é Alterada

42 Data Warehouse - Desenvolvimento o Funções no desenvolvimento de um DW: ê Gerente do DW ê Arquiteto de Dados ê Administrador de metadados ê Administrador de BD ê Usuário de nível gerencial ê Analista de processos e aplicações ê Especialista em Aplicações Operacionais ê Analista e programador de conversões ê Especialista em suporte técnico ê Instrutor

43 Data Warehouse - Desenvolvimento Muitas empresas iniciam o processo de Data Warehouse a partir de uma área específica que normalmente é uma área carente de informações e cujo trabalho seja relevante para os negócios da empresa, criando Data Marts, para depois ir crescendo aos poucos, seguindo uma estratégia bottom-up ou assunto-por-assunto e assim obtendo um Data Warehouse corporativo Adriano DalAlba - Universidade Federal de Caxias - RS Dezembro 1998

44 Data Warehouse - Desenvolvimento Empresas que têm exigências mais modestas, como as que necessitam construir DW para departamentos indivi- duais podem escolher em construir pequenos Data Marts que utilizam uma arquitetura baseada em rede Adriano DalAlba - Universidade Federal de Caxias - RS Dezembro 1998

45 Data Warehouse - Desenvolvimento Pela complexidade de fatores que envolvem um DW corporativo integral, a construção do projeto é lenta e cara. Para equilibrar os gastos e oferecer resultados em prazos mais curtos é possível construir Data Marts que são peque- nos DW departamentais. Entre as principais vantagens da utilização de Data Marts está a redução de tempo de imple- mentação (120 dias) e o fator preço (US$ 50 mil a US$ 1 milhão). Sendo que um DW leva cerca de um ano para ser concluído e gastos iniciais em torno de US$ 2 milhões Adriano DalAlba - Universidade Federal de Caxias - RS Dezembro 1998

46 Data Warehouse - Desenvolvimento DATA MART Vendas X Y Z W DATA WAREHOUSE DATA MART Compras DATA MART Marketing DATA MART Outros

47 Data Warehouse - Extração de Informações o Formas de extração de dados de um DW: ê Relatórios ê Consultas ê EIS ê Ferramentas de OLAP ê Ferramentas de Data Mining o Todas estão com tendências de integração com a WEB

48 Data Warehouse - Extração de Informações o Formas de acesso ao DW: ê Acesso direto ê Acesso indireto

49 Data Warehouse - Extração de Informações é ACESSO DIRETO: u É uma ocorrência rara u Sofre uma série de limitações: l Uma solicitação pode levar 24 horas para ser atendida l A solicitação deve ser referente a qtde mínima de dados l Deve existir compatibilidade entre DW e Ambiente Oper. l Não deve existir formatação de dados

50 Data Warehouse - Extração de Informações é ACESSO DIRETO: DATA WAREHOUSE APLICAÇÃO OPERACIONAL CONSULTA RESULTADO DA CONSULTA

51 Data Warehouse - Extração de Informações é ACESSO INDIRETO: u O que normalmente se utiliza u Eficiente u Muito rápido

52 Data Warehouse - Extração de Informações é ACESSO INDIRETO: DATA WAREHOUSE APLICAÇÃO OPERACIONAL ARQUIVO DE INFORMAÇÕES PROGRAMA DE ANÁLISE

53 Data Warehouse - Conclusões o Vantagens: é Simplicidade é Qualidade dos dados é Acesso rápido é Facilidade de uso é Separa as operações de decisão das de produção é Vantagem competitiva é Custo de operação é Administração do fluxo das informações

54 Data Warehouse - Conclusões o Vantagens (continuação): é Habilidade de processamento paralelo é Infra-estrutura computacional é Valores quantitativos é Segurança

55 Data Warehouse - Conclusões o Desvantagens: é Complexidade de desenvolvimento é Tempo de desenvolvimento é Alto custo de desenvolvimento e administração é Treinamento é Dificuldade na coleta de dados é Dimensão de discos e CPUs

56 Data Warehouse - Bibliografia o Data Warehouse - Monografia Adriano DalAlba - Universidade Federal de Caxias - RS Dezembro 1998 o Building a Data Warehouse for Decision Support Vidette Poe - Prentice Hall ISBN o The Intranet Data Warehouse Richard Tanler - Wiley ISBN


Carregar ppt "Mestrando: Vinicius Prodocimo Professor: Alcides Calsavara DATA WAREHOUSE."

Apresentações semelhantes


Anúncios Google