Modelagem Dimensional do Data Warehouse

Apresentação em tema: "Modelagem Dimensional do Data Warehouse"— Transcrição da apresentação:

1 Modelagem Dimensional do Data Warehouse
Janeiro/2013 Ceça Moraes

2 Material da Professora Valéria Cesário Times, do Cin-UFPE

3 Conteúdo Objetivos da modelagem dimensional Fatos Dimensões Esquemas

4 Objetivos da Modelagem Dimensional
Fornecer uma imagem global da realidade do negócio Exibir informações em níveis apropriados de detalhes (resumido ou detalhado) Otimizar o processamento de consultas complexas (Modelo Estrela ou Flocos de Neve) Integrar dados de diversas fontes em uma única base para facilitar a geração de relatórios

5 Relacional x Dimensional
Modelo Relacional Usado para identificar relacionamentos entre tabelas Visa remover a redundância de dados Processamento de Transações On-Line (OLTP) Modelo Dimensional Apresenta dados em uma estrutura intuitiva permitindo alta performance de acesso Organiza dados em tabelas de fatos e dimensões Processamento Analítico On-Line (OLAP)

6 Componentes Modelo Dimensional

7 Tabela de Fatos Principal tabela do modelo dimensional na qual medidas numéricas sobre o desempenho da atividade de negócio são mantidas Maioria dos fatos são numéricos e aditivos (podem ser somados) Existem fatos não aditivos que não podem ser adicionados Temperatura, preço, médias em geral. Sumarização é obtida por soma, contagem ou cálculo da média Uma linha da tabela de fato corresponde ao valor de uma medida dentro de algumas dimensões

8 Tabela de Fatos Todas as medidas da tabela de fatos devem ter a mesma granularidade Na teoria, uma medida de fato pode ser textual Uma medida textual é uma descrição de algo, i.e. temperatura É obtida de uma lista discreta de valores Por exemplo: 20 – 40C (quente)

9 Tabela de Fatos Tabela central
Armazena as medidas numéricas do negócio e chaves das dimensões (ID das dimensões) Na tabela de fatos as chaves das dimensões são FK e juntas formam a PK do fato Idealmente medidas são numéricas e aditivas Vendas(R$), lucro(R$), despesas(R$), quantidades

10 Tabela de Fatos Quando um dado numérico é Medida ou Dimensão?
Medida ⇒ varia continuamente a cada amostragem Quantidade vendida de um produto Número de acertos no jogo Atributo ⇒ praticamente constante Produto Jogo

11 Tabela de Dimensões Tabelas periféricas com menor volume de dados
Armazenam as descrições do negócio São usadas como filtros, agrupamentos e rótulos Podem ser compartilhadas São normalmente desnormalizadas (esquema estrela) Atributos das dimensões ⇒ podem ser organizados em hierarquias Produto (Categoria → Marca → Descrição) Loja (Tipo → Endereço → Nome_Loja) Tempo (Ano → Mês → Dia_Do_Mês)

12 Dimensões Compartilhadas

13 Modelo Dimensional

14 Tabela de Dimensões Geralmente representam relacionamentos hierárquicos (1:N) entre seus atributos Informação descritiva hierárquica é armazenada redundantemente Por exemplo, para cada linha da dimensão produto, as descrições de marca e categoria são repetidas Desnormalização favorece o desempenho de consultas e facilita o uso do sistema Dimensões Desnormalizadas ⇒ modelo estrela Dimensões Normalizadas ⇒ modelo snowflake

15 Tabelas de Dimensões Dimensões funcionam como “filtros”

16 Tabelas Fato x Dimensão
Fatos Atributos quantitativos sobre o desempenho do negócio em um Fato vendas: a quantidade vendida, o valor da venda, a margem de lucro, média de venda, etc. Dimensões Atributos qualitativos sobre os ramos do negócio envolvidos na medida de desempenho de um determinado fato Dimensão produto: a descrição, o código, o preço, etc

17 Identificadores Artificiais
Cada dimensão deve possuir um número inteiro como identificador Facilita as operações de junção Códigos de ambientes operacionais mudam com o tempo Códigos de produtos obsoletos Números de contas inativas Identificadores compostos não devem ser usados Sempre usar como atributo da dimensão o seu identificador na base operacional

18 Esquema Estrela

19 Esquema Floco de Neve Dimensões são normalizadas
Ganho de espaço de armazenamento é pouco relevante Estrutura complexa Custo de junções

20 Modelos Dimensionais Economia de espaço de disco obtida pelo Snowflake é geralmente menos de 1% do espaço de disco total para manter o BD multidimensional!

21 Dicas – Modelagem Dimensional
Construção do Modelo Dimensional Análise dos dados do ambiente operacional Levantamento de requisitos das atividades de negócio dos usuários do DM A partir do esquema relacional da base operacional, vários modelos dimensionais podem ser gerados Identificar as atividades de negócio e modelá-las separadamente Relacionamentos N:M com propriedades numéricas e aditivas geralmente são mapeados em tabelas fato

22 Hierarquias nas Dimensões

23 Modelando...

24 Modelagem

25 Entidades da atividade de negócio Vendas de Imóvel
Escolher a granularidade Vendas de Imóveis Individuais Escolher as dimensões Entidades restantes + dimensão temporal

26 Identificando e Padronizando Dimensões
Dimensões definem o contexto das consultas sobre os fatos analisados O projeto bem elaborado de um conjunto de dimensões facilita o entendimento e uso do DM/DW Um conjunto incompleto de dimensões limita o universo de análises que podem ser feitas Dois fatos podem compartilhar 2 ou mais dimensões em uma mesma aplicação

27 Fatos Venda e Divulgação

28 Fato Aluguel

29 Medidas Não Aditivas Dependendo do contexto da aplicação e das necessidades do usuário A soma das medidas pode fazer menos sentido do que a aplicação de uma outra função de agregação Média Mínimo ou Máximo Desvio Padrão Exemplos Temperatura Preços Unitários Taxas

30 Medidas Não Aditivas Temperatura Preço Unitário
Não faz sentido dizer que a temperatura de 2008 foi 200 graus Faz sentido obter a temperatura média do ano Preço Unitário

31 Medidas Não Aditivas Temperatura Preço Unitário
Não faz sentido dizer que a temperatura de 2008 foi 200 graus Faz sentido obter a temperatura média do ano Preço Unitário

32 Dimensão Temporal DW sempre têm uma dimensão temporal
Existem várias funcionalidades de datas Períodos fiscais Estações do ano Feriados Finais de semana Eventos especiais Carnaval Páscoa, São João, Natal

33 Tabela Dimensão Temporal

34 Estendendo um esquema...

35 Estendendo o esquema... O cadastro de clientes é novo, assim as vendas que estão atualmente no DW não estão associadas a clientes, certo? Criar a dimensão cliente Adicionar uma nova chave estrangeira de cliente na tabela de fato vendas Nem toda venda estará associada a um cliente cadastrado Inserir um registro de cliente do tipo não cadastrado na nova dimensão O valor da PK deste na dimensão pode ser 0 (zero) Dimensões e fatos existentes permanecem inalterados

36 Esquema Estendido

37 Muitas Dimensões

38 Muitas Dimensões Um grande número de dimensões no esquema é indica que: Várias dimensões não são completamente independentes Elas devem ser combinadas em uma única dimensão Consiste em um erro de modelagem representar elementos de uma hierarquia como dimensões separadas Dimensões correlacionadas devem ser combinadas

39 Mudanças nas Dimensões
Mudanças ocorrem no mundo real Linhas de produto são reestruturadas, causando mudanças em hierarquias de produto Clientes se mudam, causando mudanças em seus formatos de endereços Não se pode perder informações históricas de dimensões anteriores Existem três abordagens mais simples para manutenção de valores de dimensões: Sobrescrita do valor Adição de uma tupla Adição de uma coluna

40 Sobrescrita de Valor Não há mudanças em chaves de qualquer tabela
É a abordagem mais simples, tendo como vantagens a rapidez e facilidade de implementação Não mantém o histórico dos valores anteriores

41 Adição de Tupla Uma nova tupla na tabela de dimensão é inserida para refletir a mudança no valor do atributo. Tabela de fatos não é modificada Histórico das modificações é mantido Fatos ocorridos antes da mudança estão associados ao valor do atributo anterior Aumenta o tamanho da tabela de dimensões Não permite associações entre o novo valor de atributo e fatos antigos e vice-versa

42 Adição de Coluna Uma nova coluna na tabela de dimensão é inserida para refletir a mudança no valor do atributo. Fatos antigos e novos podem ser sumarizados em termos dos antigos e novos valores de atributo Difere da abordagem anterior porque tanto valores antigos como novos do atributo podem ser considerados

43 Arquitetura do DW (DW Bus)
Conjunto de fatos que compartilham um conjunto de dimensões padronizadas

44 Matriz DW Bus Usada para criar, documentar e divulgar a arquitetura do DW Colunas são dimensões compartilhadas e linhas são fatos Possibilita a visualização de quais dimensões merecem atenção especial por participarem de vários fatos

45 Bibliografia Data Warehousing, Data Mining & OLAP, Alex Berson, Stephen J. Smith. McGraw-Hill The Data Warehouse Toolkit. Ralph Kimball, Margy Ross. John Wiley & Sons, Inc. Data Warehouse Brasil ( Artigos de Kimball ( Data Warehousing Institute ( OLAP Report - (