A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

DATA WAREHOUSE Informação e Decisão SDMS 2004 Camilo Mussi.

Apresentações semelhantes


Apresentação em tema: "DATA WAREHOUSE Informação e Decisão SDMS 2004 Camilo Mussi."— Transcrição da apresentação:

1 DATA WAREHOUSE Informação e Decisão SDMS 2004 Camilo Mussi

2 Ciclo do Processo Decisório INFORMAÇÃO DECISÃO AÇÃO AVALIAÇÃO

3 Extração de Informações (sem Data Warehouse) RelatóriossimplesRelatórioscomplexos Planilhas EIS área 1 EIS área 2

4 Inconsistência das informações Dificuldade para atender a novas necessidades Descrédito Extração de Informações (sem Data Warehouse)

5 Extração de Informações (com Data Warehouse) Relatóriossimples Relatórioscomplexos Relatórios legais e relatórios operacionais EIS1 EIS2

6 Extração de Informações (com Data Warehouse) Maturidade da tecnologia Diferenciais: metodologia e ferramentas

7 Definição I É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão [ Inmon ]

8 Definição II É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão [Harjinder ]

9 Definição III É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final de acessar informações que estão distribuídas em vários sistemas da organização [Barquini]

10 Resumo Dados atuais Dados históricos Fonte interna Dados externos Dados externos Fonte externa Extração e Transformação Diretório de Informação (Metadado) Análise e Acesso Consultas Relatórios OLAP Data Mining Data Warehouse Informações sobre os dados Disponíveis no DW

11 Batch OLTP (OnLine Transaction Processing) OLAP (OnLine Analytical Processing)

12 OLTP x OLAP OLTP Data Warehouse (com OLAP) Captação de dados Exploração dos dados Fazendo a roda dos negócios girar Vendo a roda dos negócios girar Extração, limpeza e transformação

13 Dados operacionais vs. Data Warehouse

14

15

16 Dimensão Tempo Dimensão PostoDimensão Produto Venda DataVenda CodPosto CodProduto ValorVenda QtdeVendida Posto CodPosto CodEmpresa MatFuncSupervisor CGC Nome Empresa CodEmpresa CGC RazaoSocial NomeFantasia Supervisor MatrFuncSupervisor NomeFunc Semestre CodSemestre CodAno DescSemestre Dia DataVenda CodSemana CodMes Semana CodSemana CodMes DescSemana Mes CodMes CodTrimestre DescMes Produto CodProduto CodFamiliaProduto DescProduto Trimestre CodTrimestre CodSemestre DescTrimestre FamiliaDeProduto CodFamiliaProduto DescFamiliaProduto Ano CodAno Modelo Dimensional Gestão de Redes de Postos DivideSeEm 1+ Supervisiona Dimensão Tempo DivideSeEm DimensaoProduto DimensaoPosto PertenceAFamilia Possui

17 Modelo E/R x Modelo Dimensional O modelo E/R é: * Voltado para performance da captação de dados * Mais difícil de visualizar * Mais difícil de navegar (várias alternativas, caminhos longos, etc.) O modelo dimensional é: * Voltado para flexibilidade e para performance da extração de informações * Mais simples * Mais sintonizado com o negócio

18 Definição Data Warehouse é uma coleção de dados : - dividida por assuntos - dividida por assuntos - integrada - integrada - não volátil - não volátil - que varia com o tempo - que varia com o tempo que suporta decisões gerenciais William H. Inmon William H. Inmon

19 Orientação por assunto Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse das pessoas que irão utilizá-lo. Exemplo: Uma empresa pode trabalhar com vendas de produtos alimentícios no varejo e o seu maior interesse ser o perfil de seus compradores, então o DW será voltado para as pessoas que compram seus produtos e não para os produtos que ela vende.

20 Integração Incompatibilida de: mesmo elemento, nomes diferentes Incoerência: diferentes elementos, mesmo nome Aplicação A Aplicação B Aplicação C (a) Valor atual, 2 anos Aplicação A Aplicação B Aplicação C Valor atual, 1 ano Valor atual, 3 meses Valor atual, 6 meses (b)

21 Integração de dados OPERACIONAL DATA WAREHOUSE Aplicação A: m,f Aplicação B: 1,0 Aplicação C: masculino, feminino Aplicação A: caminho - centímetros Aplicação B: caminho - pés Aplicação C: caminho - jardas Aplicação A: descrição Aplicação B: descrição Aplicação C: descrição Aplicação A: chave char(10) Aplicação B: chave dec fixed(9,2) Aplicação C: chave char(12) sexo: m, f caminho: centímetros Chave char(12) ? descrição

22 Integração de dados DATA WAREHOUSE - Maria Silva - Feminino - Nascida em 01/12/68 - Duas internações em Equipe médica - Duração média das internações - Exames requeridos - Resultados dos exames - Casada - 2 filhos Plano de Saúde - Maria Silva - Feminino - 01/12/68 Clínica - Maria Silva - Duas internações em Equipe médica - Duração média das internações Laboratório de Exames - Maria Silva - Exames requeridos - Resultados OPERACIONAL

23 DW varia conforme o tempo Operacional dias dias Não tem históricos Não tem históricos Atualizado em tempo real Atualizado em tempo real Data Warehouse anos anos Histórico completo Histórico completo Critérios específicos definem como a carga se fará Critérios específicos definem como a carga se fará

24 DW é não-volátil Operacional Atualizável Atualizável Normalizado Normalizado Voltado para perfomance Voltado para perfomance Data Warehouse Read Only Read Only Não normalizado Não normalizado Voltado para facilitar extração Voltado para facilitar extração

25 Não volatilidade OPERACIONAL alterar incluir acessar excluir incluir alterar excluir DATA WAREHOUSE carregar acessar

26 Localização Dados detalhados antigos Dados detalhados atuais Dados levemente resumidos Dados altamente resumidos Formas de armazenamento: único local (centralizado) por área de interesse (distribuído) por nível de detalhes

27 Credibilidade dos dados Mais importante para o sucesso de qualquer projeto Discrepâncias simples de todo tipo podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas Dados não dignos de confiança podem resultar em relatórios inúteis, que não tem importância alguma por exemplo, uma lista de pacientes do sexo masculino e grávidos.

28 Granularidade Baixa é possível responder a praticamente qualquer consulta porém grande quantidade de recursos computacionais é necessária para responder perguntas específicas Alta ocorre uma significativa redução da possibilidade de utilização dos dados para atender consultas detalhadas porém reduz-se muito o espaço em disco e o número de índices necessários

29 Exemplo de níveis de granularidade Prod.DataQtd.Valor A113/9/ ,00 B114/9/ ,00 A116/9/ ,00 A116/9/ ,00 mês/ano Prod.Qtd.Valor 09/00A ,00 09/00B115150,00 Baixa Alta

30 Dimensões & Fatos Fatos Medidas sobre o negócio Objeto de curiosidade do usuário Aquilo que é o foco de atenção do usuário Ex.: Células de uma planilha eletrônica Dimensões Pontos de vista por meio dos quais os fatos poderiam ser analisados Perspectivas Ex.: Cabeçalhos (linhas ou colunas) de uma planilha

31 SnowFlake Schema Família Id-Família Ds-Família Grupo Id-Grupo Id-Família Ds-Grupo Item Id-Item Id-Grupo Ds-Item Venda Id-Item Id-... DimensãoProduto

32 Star Schema Chave produto Nome produto Id item Id grupo Id família Nível agregação Dimensão Produto Venda Chave tempo Chave local Chave produto Chave cliente Valor Quantidade Custo Dimensão Cliente Chave cliente Nome cliente Dimensão Tempo Chave tempo Nome tempo Dia Mês Ano Nível Agregação Dimensão Localização Chave local Descricao local Id Região Id País Nível Agregação

33 Ferramentas OLAP O que é importante (Exception Reporting) Detalhes (Drill Down) Agregações (Drill Up) Muda o ponto de vista (Drill Across) Melhores e piores (Ranking) Comparar com períodos anteriores (Análise Comparativa)

34 Data Warehouse é... Um meio de prover no tempo apropriado informações completas e corretas, em um formato compreensível, para a eficaz tomada de decisões em todos os níveis: estratégico, tático e operacional

35 Data Warehouses x Data Marts

36 Data Mart Um Data Mart é um subconjunto de dados do Data Warehouse destinado a suportar as necessidades específicas de uma determinada unidade de negócios.

37 Data Warehouse em uma empresa Vendas Produção Marketing RH etc. Data Warehouse Data Marts

38 Data Warehouse em um orgão do Governo Federal (ex.: Receita Federal) Arrecadação ComércioExterior DívidaAtiva etc. Data Warehouse Data Marts

39 O Data Warehouse de um orgão do Governo Federal não está sozinho... ReceitaFederal Agricultura MARE BancoCentral etc. Data Warehouse do Governo Federal Data Marts

40 BD operacional Data Warehouse Aplicações não estruturadas ? Fontes Externas Extração, limpeza e transformação TransporteCarga Query &Reporting OLAP EISData Mining Componentes de um DW

41 Classes de ferramentas Extração, Limpeza e Transformação Banco de Dados Acesso Administração (Modelos/Metadados)

42 Como se constrói o Data Warehouse?

43 Qual é o enfoque? Implantar o Data Warehouse ou implantar Data Marts? Ambos: Constrói-se o Data Warehouse por meio da implantação de sucessivos Data Marts 1) Planeja-se o todo (o Data Warehouse) 2) Implementa-se em partes (os Data Marts) que vão se somando

44 Conhecimento da metodologia Conhecimento do negócio Produtos de Data Warehouse Plano de implementação Incremento1Incremento2Incrementon... Construindo o Data Warehouse

45 Os grandes passos da metodologia Definição da Arquitetura do DW Entendimento das necessidades da empresa Seleção do hardware, software e ferramentas Definição dos incrementos do DW Implementação dos incrementos Modelagem Construção das aplicações Criação do DW Operação, ajustes e suporte

46 Justificativa para Data Warehouses A justificativa para Data Warehouses é simples: Eles ajudam a converter dados em ferramentas competitivas. Computerworld Computerworld

47 Análise multidimensional (OLAP) Query & Reporting Data Mining RDBMS Extração, Limpeza & transformação Transporte Carga & atualização incremental DWH admin. & automação Metodologia Componentes do Data Warehouse

48 O PRESENTE E O FUTURO É A

49 Conclusão A implementação do Data Warehouse em um ambiente permite um melhor gerenciamento das informações visando a utilização inteligente dos recursos para realizar as atividades que são de sua responsabilidade, oferecendo confiabilidade, transparência, agilidade e segurança.

50 Obrigado (61)


Carregar ppt "DATA WAREHOUSE Informação e Decisão SDMS 2004 Camilo Mussi."

Apresentações semelhantes


Anúncios Google