DW, OLAP e Modelagem Multidimensional

Apresentação em tema: "DW, OLAP e Modelagem Multidimensional"— Transcrição da apresentação:

1 DW, OLAP e Modelagem Multidimensional
Valéria Times

2 Sistemas de Suporte à Decisão
Sistemas de Suporte a Decisão (SSD) Permitem armazenar e analisar grandes BD para extrair informações que auxiliam a compreensão do comportamento dos dados sobre o negócio Fornecem apoio ao suporte estratégico de decisão Consistem em sistemas computacionais de suporte à decisão que integram dados oriundos de diversas fontes de dados 11/17/2018 © CIn/UFPE

3 Suporte à Decisão X Operacional
SSD diferem de SSO Operacional  orientado por transação Ex: o produto vendido, o artigo publicado, o imposto predial pago Decisão  orientado por assunto Ex: Vendas, Publicações de Artigos, Gerenciamento Urbano Dividir os dados em dois ambientes ortogonais Operacional (normalmente já existe) Estratégico (construir um DW) 11/17/2018 © CIn/UFPE

4 Sistemas de DW Provêem diferentes níveis de análise
São chamados sistemas analíticos Permitem que usuários naveguem nos diferentes níveis de dados Dados são organizados através de modelos multidimensionais Resultados de consultas são interpretados em uma variedade de visões multidimensionais São providas pelas ferramentas OLAP 11/17/2018 © CIn/UFPE

5 Data Warehouse Definição
DW é uma base de dados que facilita a execução de consultas de apoio à decisão (Bill Inmon) Objetivos Fornecer uma imagem global da realidade do negócio Exibir informações em níveis apropriados de detalhes (resumido ou detalhado) Otimizar o processamento de consultas complexas (Modelo Estrela ou Flocos de Neve) 11/17/2018 © CIn/UFPE

6 Data Warehouse Principais características
Orientada ao assunto: permite tomar decisões sobre o assunto - tema dos dados Perfeitamente integrada: consolida dados de diferentes fontes heterogêneas Variante no tempo: mantém um histórico dos dados, permitindo comparações ao longo do tempo Não volátil: Informações já presentes no banco são raramente modificadas (sobrescritas) Novos dados são carregados no sistema, integrando-se com informações armazenadas previamente 11/17/2018 © CIn/UFPE

7 Data Mart Definição DM é um DW departamental (específico de um dado departamento) Subconjunto do DW que satisfaz os requisitos de um certo tema ou atividade de negócio Benefícios Tempo e dificuldade de implantação minimizados São mais facilmente entendidos e possuem consultas mais rápidas Restrição Requerem planejamento prévio, para evitar ilhas de dados 11/17/2018 © CIn/UFPE

8 ETL e ODS Ferramentas de ETL
Responsáveis pela conversão dos dados do ambiente operacional para o de suporte à decisão Realizam Acesso, Extração, Transformação, Validação e Carga dos dados Operational Datastore (ODS) Repositório de dados operacionais integrados Benefícios Otimiza a criação do DW Possibilita a realização de consultas relacionais sobre dados históricos 11/17/2018 © CIn/UFPE

9 Metadados produzidos em todas as etapas
Data Warehousing Definição Processo de construção do DW = base de dados multidimensional Benefícios Vantagem competitiva e aumento de produtividade na tomada de decisões Data Warehousing  DW Estrela ou F. Neve BD Op. DM OLAP Data Mining Relatórios Metadados produzidos em todas as etapas ETL Extract Transform Load ODS Operational Data Store 11/17/2018 © CIn/UFPE

10 Metadados produzidos em todas as etapas
Arquiteturas de DW Data Warehousing (Abordagem Top-Down) Visão do DW corporativo Grande abrangência Mais Complexo, Custoso e Demorado Alta probabilidade de insucesso Só pode ser avaliado quando terminado DW  DM Data Warehousing Top-Down BD Op. OLAP Data Mining Relatórios Metadados produzidos em todas as etapas ETL Extract Transform Load ODS Operational Data Store 11/17/2018 © CIn/UFPE

11 Metadados produzidos em todas as etapas
Arquiteturas de DW Data Warehousing (Abordagem Botton-Up) Visão do DW Departamental Foco específico nos aspectos mais críticos Menos Complexo, Custoso, Demorado Alta probabilidade de ilhas de dados Pode acontecer dos DM não se integrarem Data Warehousing Botton-Up  BD Op. OLAP Data Mining Relatórios Metadados produzidos em todas as etapas ETL Extract Transform Load ODS Operational Data Store DM DW 11/17/2018 © CIn/UFPE

12 Metadados produzidos em todas as etapas
Arquiteturas de DW Data Warehousing (Abordagem corrente) Visão do DW Incremental Planejar Top-Down Desenvolver Botton-Up ODS Histórico DW Data Warehousing Corrente  BD Op. OLAP Data Mining Relatórios Metadados produzidos em todas as etapas ETL Extract Transform Load ODS Operational Data Store DM 11/17/2018 © CIn/UFPE

13 Modelagem de Dados Modelo ER
Usado para identificar relacionamentos entre tipos de entidades Visa remover a redundância de dados Processamento de Transações On-Line (OLTP) Modelo Dimensional Apresenta dados em uma estrutura intuitiva permitindo alta performance de acesso Independe da representação física dos dados Organiza dados em tabelas de fatos e dimensões Processamento Analítico On-Line (OLAP) 11/17/2018 © CIn/UFPE

14 Modelagem Dimensional
Componentes de Modelagem Dimensional Geográfica Produto Tempo Und. $ Tabelas de Dimensão Tabela Fatos Medidas Fatos Dimensão 11/17/2018 © CIn/UFPE

15 Fatos e Dimensões Tabelas de Dimensões
Tabelas periféricas com pouco volume de dados Armazenam as descrições do negócio Normalmente desnormalizadas (esquema estrela) Atributos  organizados em hierarquias Produto (Categoria  Marca  Descrição) Loja (Tipo  Endereço  Nome_Loja) Tempo (Ano  Mês  Dia_Do_Mês) Podem ser compartilhadas ou privadas 11/17/2018 © CIn/UFPE

16 Fatos e Dimensões Tabela de Fatos
Tabela central com grande volume de dados Armazena as medidas numéricas do negócio e chaves das dimensões (ID das dimensões) Cada fato é a interseção entre todas dimensões Idealmente medidas são numéricas e aditivas Ex:Vendas(R$),Vl_unitário(R$),Despesas(R$), QtdVendida Exemplo de medida não numérica: Temperatura 11/17/2018 © CIn/UFPE

17 Fatos e Dimensões Tabela de Fatos (Cont.)
Tabelas de fatos são esparsas e únicas por esquema Requer determinação do nível de detalhe Quando um dado numérico é Medida ou Atributo? Medida  varia continuamente a cada amostragem Ex: Quantidade vendida de um produto Atributo  praticamente constante Ex: Peso de um produto 11/17/2018 © CIn/UFPE

18 Esquema Estrela (Star Schema)
Modelos Dimensionais Esquema Estrela (Star Schema) Tabela Fato Tabela Dimensão Dim_Tempo Chave_Tempo Data . Fato_Vendas Chave_Empregado Chave_Produto Chave_Cliente Chave_Entregador Data_Requerida Dim_Funcionario Chave_Funcionario Codigo_Funcionario Dim_Produto Codigo_Produto Dim_Cliente Codigo_Cliente Dim_Entregador Chave_Entreegador Codigo_Entregador 11/17/2018 © CIn/UFPE

19 Tabela-Dimensão Principal
Modelos Dimensionais Esquema Flocos de Neve (Snowflake Schema) Tabelas-Dimensão Secundárias Fato_Vendas Chave_Tempo Chave_Funcionario Chave_Produto Chave_Cliente Chave_Entregador RequiredDate . MarcaProduto CodigoMarca CodigoCategoria Categoria Nome Dim_Produto Tamanho Tabela-Dimensão Principal Dimensões são normalizadas Ganho de espaço de armazenamento é pouco relevante Estrutura complexa Custo de junções 11/17/2018 © CIn/UFPE

20 Modelos Dimensionais Escolhendo um Esquema Star Snowflake Clareza
+ fácil + difícil Número de tabelas < > Complexidade de consultas + simples + complexo Performance de consulta + rápido + lento 11/17/2018 © CIn/UFPE

21 Cubo Multidimensional
Cubo Multidimensional (Abstração do DW) Metáfora de uma abordagem multidimensional para visualização e organização dos dados Várias dimensões podem ser usadas simultaneamente Dados são manipulados mais rapidamente e facilmente (agregação em níveis de hierarquia) 11/17/2018 © CIn/UFPE

22 Cubo Multidimensional
Agregação em Níveis de Hierarquias 11/17/2018 © CIn/UFPE

23 Cubo Multidimensional
Como representar as dimensões no cubo? DDDD F03 2000 30 Produto Loja Tempo Vendas AAAA F01 1999 50 F02 60 100 BBBB 40 70 80 CCCC 90 120 140 20 10 Produto Loja Vendas AAAA F01 50 F02 60 100 BBBB 40 70 80 CCCC 90 120 140 DDDD 20 10 30 F03 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03 11/17/2018 © CIn/UFPE

24 Qual o total de vendas do produto AAAA?
Exemplo de Consultas Qual o total de vendas do produto AAAA? 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03 11/17/2018 © CIn/UFPE

25 Qual o total de vendas da loja F03?
Exemplo de Consultas Qual o total de vendas da loja F03? 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03 11/17/2018 © CIn/UFPE

26 Qual o total de vendas do ano 1999?
Exemplo de Consultas Qual o total de vendas do ano 1999? 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03 11/17/2018 © CIn/UFPE

27 Exemplo de Consultas 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03
Qual o total de vendas do produto BBBB no ano de 1999 e na loja F2? 1999 2000 AAAA BBBB CCCC DDDD F01 F02 F03 11/17/2018 © CIn/UFPE

28 OLTP x OLAP O que é OLAP (On-Line Analytical Processing)?
Conjunto de tecnologias projetadas para analisar e acessar dados típicos de suporte a decisão que estão no DW Fornece dados em alto nível (totais,médias,min..) Acessa vários registros Tem alta performance e consultas fáceis e interativas Lida com dados históricos (dimensão temporal) Oferece visões multidimensionais (perspectivas) 11/17/2018 © CIn/UFPE

29 OLTP x OLAP O que é OLAP ? (Cont.)
Exemplos de consultas típicas de OLAP: Quais os produtos mais bem vendidos no mês passado? Quais os 10 piores vendedores dos departamentos da filial X? Qual a média salarial dos funcionários de informática na região sul nos últimos 5 anos? 11/17/2018 © CIn/UFPE

30 OLTP x OLAP O que é OLTP (On-Line Transaction Processing)?
Conjunto de tecnologias projetadas para analisar e acessar dados típicos de suporte operacional Exemplos de consultas típicas de OLTP: Qual o produto mais vendido? Qual o pior vendedor? Qual o total de vendas? Qual a média salarial dos funcionários? 11/17/2018 © CIn/UFPE

31 Suporte a Decisão X Operacional
Diferenças entre os ambientes Características Operacional Estratégico Objetivo Op. diárias do negócio Análise do Visão dos dados Relacional ou Obj-Rel. Dimensional Op. com os Incl., Alt, Excl e Cons. Carga e Consulta Atualização Contínua (tempo real) Temporal (lote) N o de usuários Milhares Dezenas Tipo de usuário Gerencial Interação c/ Pré-definida(predom.) Pré-definida e ad-hoc Granularidade Detalhados Detalhados e Resumos Redundância Ocorrência minimizada Ocorrência maximizada Volume dos Megabytes-Gigabytes Gigabytes-Terabytes Histórico dos Até a última atualização 5 a 10 anos Acesso a registro 11/17/2018 © CIn/UFPE

32 Arquiteturas OLAP Categorias de Ferramentas OLAP
Relacional OLAP (ROLAP) Multidimensional OLAP (MOLAP) Híbrido OLAP (HOLAP) ROLAP Utiliza BD relacional para análise dos fatos Manipula dados de forma multidimensional via SQL Lida com fatos atômicos assim como sumarizados Permite o uso de várias dimensões 11/17/2018 © CIn/UFPE

33 Arquiteturas OLAP ROLAP 11/17/2018 © CIn/UFPE

34 Arquiteturas OLAP MOLAP
Utiliza MDDB proprietários (com matrizes n-dimensionais) para manipular fatos agregados Principal premissa Armazenar de forma multidimensional para visualizar de forma multidimensional Desvantagens Não manipula fatos atômicos Não trabalha com muitas dimensões Não gerencia um grande volume de fatos 11/17/2018 © CIn/UFPE

35 Arquiteturas OLAP MOLAP 11/17/2018 © CIn/UFPE

36 Arquiteturas OLAP HOLAP Mistura de MOLAP com ROLAP
Suporta manipulação de fatos atômicos e agregados Utiliza MDDB para analisar os fatos agregados Utiliza SQL para manipular fatos atômicos É mais complexo para administrar e implementar 11/17/2018 © CIn/UFPE

37 Arquiteturas OLAP HOLAP 11/17/2018 © CIn/UFPE

38 Perspectiva do Cliente
Arquiteturas OLAP Resumo sobre as Arquiteturas Armazenamento Dados de base Agregações MOLAP Cubo HOLAP Tabela Relacional ROLAP Perspectiva do Cliente MOLAP HOLAP ROLAP Performance de consulta Consumo em disco Manutenção do cubo Imediato Alto Mais rápido Médio Rápido Baixo 11/17/2018 © CIn/UFPE

39 Arquiteturas OLAP Conclusão sobre as Arquiteturas
ROLAP é mais flexível e mais geral MOLAP é para soluções específicas ou departamentais HOLAP é supostamente a tendência 11/17/2018 © CIn/UFPE

40 Desempenho x Armazenamento
Tempo de Resposta Calcular os agregados no momento da recuperação ou armazená-los? BD4 BD1 BD3 BD2 Quanto maior o número de agregados, melhor o desempenho e mais dados para serem armazenados e gerenciados! 11/17/2018 © CIn/UFPE

41 Principais Operações OLAP
Drill Down e Rolll Up (ou Drill Up) Técnica que possibilita caminhar pela estrutura multidimensional (hierarquias), permitindo ver diferentes níveis de dados Clientes 500 Cidades 50 Estados 5 Regiões 1 Total Drill/Roll Up Drill Down 11/17/2018 © CIn/UFPE

42 Principais Operações OLAP
Drill Down e Roll Up (ou Drill Up) Loja Tipo Vendas F01 Luxo 50 Popular 40 Padrão 90 Franquia 20 F02 60 70 Padão 120 10 F03 100 80 140 30 200 260 350 Drill Down Loja Vendas F01 200 F02 260 F03 350 Drill Up 11/17/2018 © CIn/UFPE

43 Principais Operações OLAP
Rotação Técnica que gira o cubo, permitindo ter diferentes visões dos dados 4 3 2 4 x 3 x 2 4 2 3 4 x 2 x 3 3 2 4 3 x 2 x 4 11/17/2018 © CIn/UFPE

44 Principais Operações OLAP
Slice and Dice Técnica que fatia o cubo, permitindo restringir a análise aos dados, sem inversão de eixos “Semelhante” a cláusula WHERE de SQL 4 2 3 4 x 2 x 3 4 2 4 x 2 x 2 2 3 2 x 2 x 3 11/17/2018 © CIn/UFPE

45 Referências DW e OLAP Grupo de DW da UFRJ ( Data Warehouse Brasil ( Artigos de Kimball ( Data Warehousing Institute ( OLAP Report ( 11/17/2018 © CIn/UFPE