4. Decisões Estruturadas 4.1. Data Warehouse (DW)

Apresentação em tema: "4. Decisões Estruturadas 4.1. Data Warehouse (DW)"— Transcrição da apresentação:

1 4. Decisões Estruturadas 4.1. Data Warehouse (DW)
Cadeia: SPT  SIG  DW  SAD  BI Os SPT e SIG não eram flexíveis o suficiente Importa dados dos DB transacionais Disponíveis somente para leitura A importação ocorre periodicamente Alto poder de processamento de consultas Facilidade de geração de relatórios Suporte a decisões táticas e estratégicas Análise, consolidação, sumarização e síntese Usa séries históricas para validar modelos e fazer novas inferências Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 1

2 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 2
Data Warehouse e OLAP On-Line Analytical Processing Processamento Analítico On-line (popular para DW) A OLAP foi construída para gerar respostas rápidas à consultas analíticas em dados multidimensionais compartilhados Técnica: Tira uma foto (snapshot) dos dados (que vai usar) Estrutura os dados num cubo dimensional Processa a consulta usando o cubo Consultas complexas: gasta menos de 1% do DBMS Exemplo: Weekly da Tupperware Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 2

3 Exemplo: Weekly da Tupperware
Tipos de Pessoas: Executivas Revendedoras Recrutas Agrupamentos de Vendas: País Região Distribuição Grupos Dimensão Temporal: Ano Trimestre Mês Semana Dimensão Geográfica: Distribuição Distrito Setor Bairro Tipos de Reunião: Lançamento Normal OLAP: Vendas pessoais na semana (fact table) Vendas, Presenças, Marcações, Recrutamento Relatório: 18 segundos SIG: Vendas pessoais na semana Relatório: 34 minutos SPT: Pedidos Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 3

4 DB Relacional x DB Multidimensional
Modelo Cor Vendas Totais van azul 6 Azul Verde Branca verde 8 9 23 branca coupe 12 15 - 27 sedan 20 13 33 18 43 22 83 Os agrupamentos multidimensionais e as sumarizações maximizam o desempenho de acesso aos dados. Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 4

5 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 5
DW - OLAP Estas ferramentas também ajudam na apresentação e navegação no DW A navegação em cubos pode ser feita por: Dimensões Granularidade (dos detalhes até as sumarizações) Tem recursos drill dwon e drill up (diminuir ou aumentar) Tem recursos slice and dice (fatiar os dados, cria visões para ver os dados sobre outras perspectivas) Facilidade de navegação e visualização são as chaves do OLAP e por conseqüência do DW Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 5

6 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 6
DW - Armazenamento Precisa armazenar grandes volumes de dados Usa Data Marts: unidades lógicas menores São pontos de acesso a subconjuntos de dados São construídos para antecipar consultas de um tipo específico de usuário Ex: Data Mart financeiro dia-a-dia para gerentes financeiros e um mensal para os diretores e executivos Podem ser constituídos de um ou mais cubos de dados Usam o Esquema Estrela (Star Schema) Modelagem Multidimensional Tabela de Fatos (Fact Table) Cubos dimensionais da tabela de fatos O Star Schema é popular, mas não é o único Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 6

7 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 7
DW - Modelagem Em DMBS usamos a normalização para: Evitar redundâncias e garantir consistência Gastar o menor espaço possível Ex: Vendas (CodRev, Grupo, Valor) Revendedoras (CodRev, Nome) Grupos (Grupo, Nome Grupo) Em DW privilegiamos a velocidade da consulta A normalização torna-se irrelevante Ex: Vendas (CodRev, Nome, Grupo, Nome Grupo, Valor) Vantagens: As consultas ficam muito mais rápidas Os dados ficam mais intuitivos para os usuários Desvantagens: Gasta-se muito mais espaço (que ficou barato hoje em dia) Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 7

8 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 8
DW - Metadados O DW vai importar dados. Logo, ele precisa saber: Onde buscar qual dado (banco, tabela, atributo) Como transformar o dado original (converter formatos) Como lidar com ausência de dados (valor default) Nome e alias (apelido) (Ex: pCod1  Código do Produto) Dentre outras informações Solução: Um repositório de Metadados Um “dicionário” contendo “dados sobre os dados” Onde buscar o dado, como transformá-lo, valor default ... Isto é crucial para o DW converter dados transacionais em informações de negócio Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 8

9 DW - Dicionário dos Metadados
Origem dos dados Banco, tabela e atributo ou arquivo e colunas ou processo Cada dado só pode ter uma fonte Fluxo de dados Quais fluxos transformam este dado Quais dados servem para quais processos Formato dos dados Todo dado tem um domínio (tipo, tamanho, formato) Nome e alias (apelido) Todo dado tem um nome de negócio ou técnico Podem ser criados alias para nomes existentes Devem ser usados padrões de criação de nomes e alias Definições de negócio Qual a utilidade do dado para o negócio Esta definição e a manutenção dela são muito importantes Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 9

10 DW - Dicionário dos Metadados
Regras de transformação São regras de negócio codificadas São utilizadas no momento da extração Fazem limpeza, verificação e agrupamento Atualização de dados Precisamos saber quando o dado foi atualizado Requisitos de teste São restrições de domínio: possíveis valores, intervalos, etc. E como cada dado deve ser validado Ex: Gênero = M (masculino) ou F (feminino) Indicadores de qualidade dos dados Índices indicando a qualidade, baseados em: origem, número de transformações, valores atômicos x sumarizados, níveis de uso, ... Triggers (gatilhos) automáticos Processos disparados automaticamente durante a extração Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 10

11 DW - Dicionário dos Metadados
Responsáveis pelas informações Deve ser identificado o responsável por cada dado do DW Assim como o responsável pelos metadados Acesso e segurança Os dados devem ser classificados quanto a confidencialidade (público, restrito, etc.) e o acesso (leitura, atualização, etc.) Devem ser criados perfis de acesso aos dados e metadados Deve ser identificado o responsável pela gestão da segurança Deve ser identificado o administrador do banco de dados do DW Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 11

12 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 12
DW - Extração de Dados A extração de dados é feita por ferramentas ETL (Extract Transform Load = Extração, Transformação e Carga) Quando existem processos periódicos de extração: Os dados são copiados da origem para a área de stage Em seguida os dados são transformados Finalmente eles são gravados nos Data Marts do DW Quando o processo é on-line, estas etapas são executadas de uma vez Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 12

13 Arquitetura Genérica do DW
Acesso a Informações Acesso a Dados DW Transporte Acesso a Dados DB Externos DB de SPT Usuários Repositório Metadados Funções dos Metadados Gerenciador de Processos Fonte: Adaptado de Ken Orr (1996 e 2000) Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 13

14 Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 14
DW - Camadas Camadas de fontes de dados: Bancos de dados de SPT e fontes externas ao DW Camada de acesso à informação: Forma de iteração do usuário com o DW (hw e sw) Camada de acesso aos dados: Liga o acesso à informação ao DW e às fontes de dados Camada de metadados: Repositório do Dicionário de Dados Biblioteca de funções de transformação Camada de gerenciamento de processos: Gerencia todos os processos do DW Camada de transporte: Gerencia o transporte de dados através da rede Camada do Data Warehouse: É o DW propriamente dito (o gerenciador principal) Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 14

15 Data Warehouse - Produtos
Fabricantes: Líderes: Oracle, Microsoft e IBM Grandes: NCR Teradata, HP e Sun Microsystems. Menores: Netezza, Datallegro e Dataupia. Produtos: IBM: Retail Business Intelligence Solution (RBIS) Analysis and Business Intelligence DB2 Data Warehouse Manager Oracle Data Warehouse NCR Teradata Warehouse DMExpress Márcio Moreira Unidade 4 – Decisões Estruturadas – Data Warehouse – Slide 15