CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  1.

Apresentação em tema: "CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  1."— Transcrição da apresentação:

1 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  1

2 2 IN1008 – Projeto Conceitual de BD Modelagem Conceitual para Bases de Dados Multidimensionais Por: Daniel Menezes Cardoso dmc2@cin.ufpe.br

3 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  3 Roteiro Motivação Conceitos básicos Objetivo Características do modelo Estudo de caso Modelos propostos / estado da arte Referências

4 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  4 Motivação Capacidade de representar informação de forma abstrata e independente da implementação é crucial  Do design à operação de um sistema de informação  Mas... Qual a relevância disso no nosso contexto??? Complexidade Dificuldades com gerenciamento e implementação Possibilidade de erros

5 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  5 Motivação Estamos estudando modelagem conceitual... ...que serve justamente para nos dar o ferramental de que precisamos. Contexto  Aplicações multidimensionais  De Data warehouse  OLAP  São complexas! ...Mas, o que são mesmo???

6 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  6 Conceitos básicos Data warehouse  Uma coleção de dados integrada e orientada a um tema, desenhada para suportar tomada de decisão. OLAP  Online Analytical Processing  Análise multidimensional

7 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  7 Motivação Voltando...  Precisamos fazer modelagem nesse contexto ...Podemos usar o que já sabemos!!! Tradicionalmente, se usa um modelo relacional Problemas:  Um modelo conceitual tradicional como o ER não é expressivo o suficiente para as características multidimensionais  Tradicionalmente, a modelagem de aplicações multidimensionais acaba se aproximando da implementação correspondente (modelo lógico)  Necessidade de se preocupar com detalhes tediosos referentes à distribuição da informação entre as várias estruturas de armazenamento

8 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  8 Motivação Modelos para dados multidimensionais foram propostos  Não há ainda consenso ou terminologia comum

9 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  9 Objetivo Avaliar os requisitos que um modelo de dados conceitual para aplicações multidimensionais deve ter  Partindo de um estudo de caso Conhecer um modelo proposto de referência com base nos requisitos necessários  Características  Exemplos com base no estudo de caso Estado da Arte – Avaliar os modelos propostos existentes

10 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  10 Conceitos básicos Modelo de dados “Data modeling is an art” (R. Hull) “As opções de cores do artista”  Conceitual Conceitos do mundo real / contexto, não o modo de representação  Conceitual Multidimensional Recursos para representar o objetivo final de uma data warehouse: suporte à análise de dados para tomada de decisão. 2 conceitos que devem ser suportados:  Fact  Dimension

11 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  11 Conceitos básicos Fact  “Entidade de uma aplicação que é o alvo de uma análise para tomada de decisão”  Representado por um cubo de dados Dimension  Perspectiva sob a qual os facts podem ser analisados. Exemplo  Fact: Uma venda.  Dimensions: Local, tipo de produto, hora.

12 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  12 Conceitos básicos Uma representação (esquema estrela): O que vocês acham?

13 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  13 Conceitos básicos Representação por tabelas e relacionamentos Esquema lógico cheio de detalhes de implementação Os aspectos conceituais sobre como os dados são analisados são difíceis de inferir Nesse contexto, mesmo no nível conceitual a representação dos dados é influenciada fortemente pela forma como os usuários precisam visualizar a informação!!! Quais seriam os usos/vantagens de uma representação conceitual multidimensional aqui???

14 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  14 Conceitos básicos Em resumo:  Visão mais focada no contexto / conteúdo  Facilita análise de queries Documentação  Entendimento por não-especialistas

15 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  15 Características do modelo Um modelo conceitual multidimensional deve suportar a descrição de dados fatuais de acordo com as dimensions - perspectivas sob as quais eles podem ser analisados. Para o nosso exemplo:  Organizar dados em dimensions Produtos comercializados, Lojas vendendo os produtos, Dias em que há vendas  Organizar dimensions em Levels Produtos -> Marcas, Categorias Dias -> Meses, Anos

16 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  16 Características do modelo Esquema:

17 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  17 Estudo de caso Toys4All Objetivo: Entender o impacto das promoções nas vendas.  Influência na venda de produtos e qual o retorno das promoções? Objetivo: Analisar o processo de estocagem  Medir o inventário mensalmente para cada produto? Dimensions: Product, Store, Warehouse, Time, and Promotion. Product dimension  Levels:  Item (produtos como Disney’s Dinosaur and Duplo Pooh) Descriptions podem ser nome e código, por exemplo  Product-line (Mattel’s Disney, Lego Duplo),  Brand (Mattel e Lego),  Category (Personagens populares e Blocos),  Department (Action Figures e Blocos). Time dimension  Day, month, quarter, year, and season.  Um membro do level Day pode ser: Feb 27, 2001.  Membros do level Day podem ser agrupados a membros do level month e também a membros de season (Carnival).

18 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  18 Estudo de caso

19 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  19 Estudo de caso Fact: Daily sale (venda diária)  Pode ser analisado quanto ao dia da venda, o produto vendido, a loja e a promoção aplicada no dia.  Measurements: quantidade vendida, receita, custo. Um cubo de dados Sales pode ser usado para descrever a venda diária de itens em cada loja.  Exemplo: on Feb 27, 2001 the store Colosseum has sold 2 pieces of Duplo Pooh, applying a Carnival 2001 Promotion, for a corresponding gross income of 19.98 Euros against a cost of 14.98 Euros. Quanto ao Warehouse (estoque):  Quantidade em estoque, no final do mês, para cada produto por estoque.  Outras informações: Quantidade vendida durante o mês Valor a preço de custo da quantidade em estoque.

20 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  20 Estudo de caso

21 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  21 Características do modelo Conforme alguns autores*, são características básicas de um modelo multidimensional:  Separação explícita entre estrutura e conteúdo Básico dos modelos conceituais. Permite definir um esquema.  Noção explícita de Dimensions e Data Cube  Hierarquia explícita de Levels Refletir as possibilidades de agrupamento dos dados.  Hierarquia múltipla em cada Dimension Com vários caminhos possíveis. Ordem parcial em MD (setas)  Suporte a atributos de Levels  Suporte a “measure sets” Conjunto de valores para um mesmo Fact.  Tratamento simétrico de Dimensions e Measures * Pedersen; Blaschka et al.)

22 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  22 Características do modelo Outras características recomendadas:  Suporte a semântica de agregação Identificar agregações que não fazem sentido no contexto para o usuário. Por exemplo, somar os níveis de estoque de produtos diferentes pode não fazer sentido, mas a média pode.  Suporte para agregações “non-standard” Por exemplo, “non-covering hierarchies” Cidade -> Estado  Suporte a dados temporais Mudanças no tempo Qual o impacto da mudança de categoria de um produto nas vendas?

23 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  23 Modelos propostos / Estado da arte Os modelos para data warehousing podem ser classificados em 3 grupos:  Cube models  Multidimensional models  Statistical models

24 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  24 Modelos propostos / Estado da arte Cube Models  Tratam os dados como cubos n-dimensionais  Possuem noção de fact, measure e dimension  O modelo não permite inferir os níveis de agregação (levels) por dimension.  Exemplos: Star Scheme, Snowflake Scheme  Maioria dos modelos comerciais ROLAP, MOLAP

25 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  25 Modelos propostos / Estado da arte Multidimensional Models  Possuem os níveis de agregação (levels) por dimension explicitamente definidos no modelo.  Os modelos representam Dimensions de forma bem diferentes  Modelos extenderam modelos conceituais tradicionais (como o M-ER) ou basearam-se em paradigmas tradicionais, como OO.  Maior parte dos modelos foi definida tendo como alvo casos de estudo específicos, como eficiência, queries temporais, etc.

26 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  26 Modelos propostos / Estado da arte Exemplo do M-ER:

27 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  27 Modelos propostos / Estado da arte Statistical models  Têm muito em comum com multidimensional models  Conceitos distintos, porém com grande sobreposição  Foco em dados estatísticos versus data warehouse  Exemplos: STORM, Mefisto

28 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  28 Conclusão Modelos conceituais multidimensionais trazem vantagens na modelagem conceitual de data warehouses Existem algumas alternativas, mas não há um padrão. Muito trabalho a ser feito na área para sofisticar os modelos.

29 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  29 Referências RICCARDO TORLONE. Multidimensional Databases, Maurizio Rafanelli Ed. R. Agrawal, A. Gupta, and S. Sarawagi. Modeling multidimensional databases. C. Batini, S. Ceri, and S. Navathe. Conceptual Database Design: an Entity-Relationship Approach. Benjamin/Cummings, 1992 M. Blaschka, C. Sapia, G. Höfling, and B. Dinter. Finding your way through multidimensional data models. S. Chaudhuri and U. Dayal. An overview of Data Warehousing and OLAP technology. E. Franconi and U Sattler. A data warehouse conceptual data model for multidimensional aggregation. A. O. Mendelzon. Data warehousing and OLAP: a research-oriented bibliography. Carsten Sapia, Markus Blaschka, Gabriele Höfling, Barbara Dinter. Extending the E/R Model for the Multidimensional Paradigm Matteo Golfarelli, Dario Maio, Stefano Rizzi. Conceptual Design of Data Warehouses from E/R Schemes.

30 CIn/UFPE – IF696 - Integração de Dados e DW - Prof. Robson Fidalgo  30