SAD Tagus 2004/05 H. Galhardas Arquitectura de DW.

Apresentação em tema: "SAD Tagus 2004/05 H. Galhardas Arquitectura de DW."— Transcrição da apresentação:

1 SAD Tagus 2004/05 H. Galhardas Arquitectura de DW

2 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Arquitectura multi-nível Data Warehouse Extract Transform Load Refresh OLAP Engine Analysis Query Reports Data mining Monitor & Integrator Metadata Data Sources Front-End Tools Serve Data Marts Operational DBs other sources Data Storage OLAP Server

3 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Data Warehouse Extract Transform Load Refresh OLAP Engine Analysis Query Reports Data mining Monitor & Integrator Metadata Data Sources Front-End Tools Serve Data Marts Operational DBs other sources Data Storage OLAP Server Data Staging Arquitectura multi-nível

4 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Componentes Back-end: dizem respeito à ligação entre as fontes de dados e os repositórios de dados, e o modo como esta ligação se efectua DW, data marts, ODS (operational data store), área de retenção (staging area)/processos de ETL Metadata: representação da camada semântica do DW Front-end: consiste no conjunto de ferramentas que permitem aceder, interagir e explorar a informação guardada no DW Ferramentas de reporting, OLAP, data mining

5 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Componentes de back-end Data Warehouse Extract Transform Load Refresh OLAP Engine Monitor & Integrator Metadata Data Sources Serve Data Marts Operational DBs other sources Data Storage OLAP Server Data Staging

6 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Fontes de dados de back- end(room) Fontes de dados Bases de dados hierárquicas e relacionais, ficheiros de texto, sistemas ERP, etc Área de retenção (data staging area) A maior parte das transformações de dados têm lugar aqui, por exemplo, conversão de chaves, criação de dimensões conformes, etc Servidores OLAP e de apresentação Plataformas onde os dados (organizados em data marts) são guardados para serem interrogados pelos utilizadores finais, sistemas de reporting e outras aplicações Catálogo de metadados Conjunto de informação que descreve o DW e suporta a sua criação, utilização e manutenção

7 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Serviços de Back-end (room) (1) Área de retenção ou processo ETL (Extraction- Transformation-Load) Ferramentas e técnicas aplicadas Código desenvolvido ou ferramentas “third-party”

8 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Serviços de back-end (room) (2) Desafios de extracção: Desafios de extracção: Múltiplas fontes de dados heterógeneas Geração de código para extrair dados de ficheiros Modo de extracção relativamente a: frequência de extracção, identificação de registos modificados, refrescamento completo Transferência de dados: tem que ser eficiente, usar técnicas de compressão Tarefas de transformação: Tarefas de transformação: Integração: gerar surrogate keys, chaves de mapeamento, mapear códigos em descrições completas Manutenção das “slowly changing dimensions” Verificar restrições de integridade Desnormalização Conversão de dados, cáculo e agregação Desduplicação Tratamentode valores nulos Serviços de carregamento: Serviços de carregamento: Dependem da platafoma alvo Várias plataformas alvo Optimização do carregamento

9 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Serviços de back-end (room) (2) Desafios da extracção: Desafios da extracção: Múltiplas fontes de dados heterógeneas Geração de código para extrair dados de ficheiros Modo de extracção relativamente a: frequência de extracção, identificação de registos modificados, refrescamento completo Transferência de dados: tem que ser eficiente, usar técnicas de compressão Tarefas de transformação: Tarefas de transformação: Integração: gerar surrogate keys, chaves de mapeamento, mapear códigos em descrições completas Manutenção das “slowly changing dimensions” Verificar restrições de integridade Desnormalização Conversão de dados, cáculo e agregação Desduplicação Tratamentode valores nulos Serviços de carregamento: Serviços de carregamento: Dependem da platafoma alvo Várias plataformas alvo Optimização do carregamento

10 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Serviços de back-end (room) (2) Desafios da extracção: Desafios da extracção: Múltiplas fontes de dados heterógeneas Geração de código para extrair dados de ficheiros Modo de extracção relativamente a: frequência de extracção, identificação de registos modificados, refrescamento completo Transferência de dados: tem que ser eficiente, usar técnicas de compressão Tarefas de transformação: Tarefas de transformação: Integração: gerar surrogate keys, chaves de mapeamento, mapear códigos em descrições completas Manutenção das “slowly changing dimensions” Verificar restrições de integridade Desnormalização Conversão de dados, cáculo e agregação Desduplicação Tratamentode valores nulos Serviços de carregamento: Serviços de carregamento: Dependem da platafoma alvo Várias plataformas alvo Optimização do carregamento

11 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) ODS (1) Duas definições possíveis: 1)Ponto de integração de sistemas operacionais 2)Repositório de informação actualizados e detalhados para suporte à decisão Data Sources Data Warehouse ODS Data Staging

12 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) ODS (2) Nível intermediário antes do DW Dados integrados, ligeiramente agregados Suporta a análise de dados actualizados Entrada para a área de retenção

13 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Características de ODS PrioritiesEase of use, flexible data access Response TimeSeconds to minutes DatabaseRelational Data ContentOrganized by subject, current value data, integrated Nature of DataDynamic ProcessingStructured, analytical End UsersInformation consumers, DBAs, clerical users

14 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Área de retenção vs ODS Não é um complemento aos sistemas operacionais e às suas dificuldades de manipular informação Não é um complemento aos sistemas operacionais e às suas dificuldades de manipular informação Não é implementada necessariamente numa BDR Não é implementada necessariamente numa BDR Não complementa os dados operacionais com timestamp Não complementa os dados operacionais com timestamp

15 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Metadados Data about data, dictionary of terms, documentation... Essenciais para a gestão dos repositórios de dados e do processo de construção de um DW Essenciais para a gestão dos repositórios de dados e do processo de construção de um DW Arquitectura complexa Arquitectura complexa Grandes volumes de dados Grandes volumes de dados Dois tipos principais: Dois tipos principais: Metadados de back-room: suportam o processo de ETL Metadados de front-room: descritivos, suporta as ferramentas de interrogação e de reporting

16 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Metadados dos sistemas fonte Especificações das fontes Ex: esquemas de dados Informação descritiva das fontes Dono Descrição do negócio Frequências de actualização Métodos de acesso, direitos, privilégios e passwds Informação do processo Código ou ferramenta para implementar extracção Resultados de processos de extracção

17 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Metadados da área de retenção Gestão das tabelas de dimensões Esquemas de dimensões conformes e factos Políticas de actualização de dimensões (“Slowly changing dimension”) Atribuições de chaves surrogate para cada chave de produção Snapshot de tabelas de dimensões Transformação e agregação Transformação e agregação Limpeza de dados, especificação de conversões Correspondência entre esquemas Definições de agregados, estatísticas de utilização, etc Auditoria e documentação Auditoria e documentação Proveniência de dados (data lineage) e registos de auditoria

18 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Metadados de front-end Nomes de negócio, descrições para colunas, tabelas e agrupamentos Definições de interrogações e de reporting Especificação de ferramentas de visualização Perfis de utilizadores individuais etc

19 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Problemas Existem metadados por todo o lado Existem metadados por todo o lado Não existem standards universalmente usados Não existem standards universalmente usados Não é possível transferir os metadados entre ferramentas Nem sempre são completos e consistentes Nem sempre são completos e consistentes Dificilmente aceites como importante pelo negócio Dificilmente aceites como importante pelo negócio

20 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Standard de metadados Formato comum partilhado pelos processos e repositórios MDIS (Metadata Coalition) Common Warehouse Metamodel (OMG at www.omg.org) Iniciativa não standard: Iniciativa não standard: Microsoft ’s Meta Data Coalition (MDC) -fusão com OMG sept. 2000

21 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) OMG Metamodel Architecture Standard OMG Components Modeling Language: UML Metadata Interchange: XMI Metadata API: MOF IDL Mapping MIDDLEWAREMIDDLEWARED APPLICATIONAPPLICATION User Data/Object Layer (M0) Metadata/Model Layer(M1) Metamodel Layer(M2) Meta-metamodel Layer (M3) <Stock name=“IBM” price=“112”/> Stock: name, price UML: Class, Attribute CWM: Table, Column ElementType, Attribute MOF: Class, Attribute, Operation, Association

22 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Arquitectura multi-nível Data Warehouse OLAP Engine Analysis Query Reports Data mining Front-End Tools Serve OLAP Server

23 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Arquitecturas de servidor OLAP Relational OLAP (ROLAP) Usa SGBDs relacionais ou relacional extendido para armazenar e gerir os dados do datawarehouse e usa middleware OLAP para suportar funcinalidades específicas do OLAP. Inclui optimização suportada pelo SGBDR, implementa lógica de navegação de agregação e serviços/ferramentas adicionais Maior escalabilidade Multidimensional OLAP (MOLAP) Motor de armazenamento multidimensional baseado em arrays (sparse matrix techniques) Indexação rápida de dados sumarizados pré-calculados Hybrid OLAP (HOLAP) Flexibilidade: baixo nível: relacional, alto nível: array Specialized SQL servers Suporte especializado para interrogações SQL sobre esquemas em estrela e floco de neve

24 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Front-end applications Processamento de informação Interrogações, análise estatística, relatórios usando cross-tabulations, tabelas, gráficos. Processamento analítico Análise de dados multidimensionais através de operações OLAP (slice/dice, drill-down, roll-up, pivoting, etc) Exploração de dados (data mining) Descoberta de informação encontrando padrões escondidos, associações,construíndo modelos analíticos, executando classificação e previsão, and apresentando os resultados através de ferramentas de visualização adequadas.

25 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) An OLAM Architecture Data Warehouse Metadata MDDB OLAM Engine OLAP Engine User GUI API Data Cube API Database API Data cleaning Data integration Layer3 OLAP/OLAM Layer2 MDDB Layer1 Data Repository Layer4 User Interface Filtering&IntegrationFiltering Databases Mining queryMining result

26 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) From OLAP to OLAM Why online analytical mining? High quality of data in data warehouses DW contains integrated, consistent, cleaned data Available information processing structure surrounding data warehouses ODBC, OLEDB, Web accessing, service facilities, reporting and OLAP tools OLAP-based exploratory data analysis mining with drilling, dicing, pivoting, etc. On-line selection of data mining functions integration and swapping of multiple mining functions, algorithms, and tasks.

27 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Bibliografia (Livro) Data Mining: Concepts and Techniques, J. Han & M. Kamber, Morgan Kaufmann, 2001 (Secção 2.3) (Livro) Data Mining: Concepts and Techniques, J. Han & M. Kamber, Morgan Kaufmann, 2001 (Secção 2.3) (Livro) The Data Warehouse Lifecycle Toolkit, R. Kimball, Wiley 1998 (Caps. 8, 9, 10, 11, 13 e 16) (Livro) The Data Warehouse Lifecycle Toolkit, R. Kimball, Wiley 1998 (Caps. 8, 9, 10, 11, 13 e 16) (Livro) Data Warehouse, from Architecture to Implementation, B. Devlin, Addison Wesley, 1997. (Livro) Data Warehouse, from Architecture to Implementation, B. Devlin, Addison Wesley, 1997. (Artigo) An Overview of Data Warehousing and OLAP Technology, S. Chaudhuri & U. Dayal, SIGMOD Record, March 1997 (Artigo) An Overview of Data Warehousing and OLAP Technology, S. Chaudhuri & U. Dayal, SIGMOD Record, March 1997

28 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Diferentes modelos de arquitectura Single-tier Single-tier Two-tier Two-tier Three-tier Three-tier Multi-tier Multi-tier

29 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Single-tier Dados são todos tratados como real-time Dados são todos tratados como real-time Vantagem: Dados não estão replicados =>necessidades de armazenamento baixas e fácil manutenção Vantagem: Dados não estão replicados =>necessidades de armazenamento baixas e fácil manutenção Desvantagens: disponibilidade dos dados para OLAP e degradação de desempenho para OLTP Desvantagens: disponibilidade dos dados para OLAP e degradação de desempenho para OLTP Operational DBs Serve OLAP, Data Mining OLTP

30 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Single-tier applications Well suited for: Well suited for: Applications generating large amounts of real data Data is well modeled and internally consistent Updates consist basically on adding records Ex: point-of-sale and telephone-call data Ex: point-of-sale and telephone-call data

31 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Virtual data warehouse A way to rapidly implement a DW without storing multiple copies of data Consists of: A set of views over operational databases Only some of the possible summary views may be materialized Inumerous inconvenients: Data is structured to optimize operational processes No reconciliation is done => no data quality concerns Consistency problems with user-defined data derivations Possible meaningless user queries because access to all data

32 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Two-tier Two diff. data usages are recognized Two diff. data usages are recognized Advantage: The contention between the 2 types of data is solved Advantage: The contention between the 2 types of data is solved Inconvenient: high level of data duplication and thus data storage requirements Inconvenient: high level of data duplication and thus data storage requirements Operational DBs ServeOLTP Derived Data Serve OLAP, Data Mining

33 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Two-tier applications Well suited for: Well suited for: Decision-support applications requiring summary-level data derived primarily from single data sources Homogeneous computing environment limited to a small amount of HW and SW platforms Ex: any company in the early/middle stages of decision support implementation Ex: any company in the early/middle stages of decision support implementation

34 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Three-tier Recognizes that the transformation op. data into derived data requires 2 steps Recognizes that the transformation op. data into derived data requires 2 steps Data reconciliation requires to understand relationships between data sets, their role in the business, and to build an ingle, logical image of the enterprise data model Data reconciliation requires to understand relationships between data sets, their role in the business, and to build an ingle, logical image of the enterprise data model Data derivation is simpler Data derivation is simpler Operational DBs Serve OLTP Derived Data Serve OLAP, Data Mining Reconciled Data

35 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Three-tier applications Well suited for: Well suited for: Decision-support applications requiring summary- level data derived different data sources The reconciled data model is usually a normalized relational data model The reconciled data model is usually a normalized relational data model Some data transformation and most cleaning are applied when reconciling data Some data transformation and most cleaning are applied when reconciling data Ex: fusioning customer data from distinct sources Ex: fusioning customer data from distinct sources

36 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Enterprise warehouse Collects all of the information about subjects spanning the entire organization Provides corporate-wide integration from one or more operational data sources Large amounts of data

37 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Data marts Each indivudual department implements its own decision/management IS Consists of a subset of corporate-wide data that is of value to a specific groups of users. Its scope is confined to selected groups, such as marketing data mart Implementation cycle of a data mart is weeks instead of months (short-term productivity benefits) Independent vs. dependent (directly from warehouse) data mart

38 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) DW Design Process Top-down, bottom-up approaches or a combination of both (hybrid approach) Top-down, bottom-up approaches or a combination of both (hybrid approach) Bottom-up: Bottom-up: Starts with experiments and prototypes (rapid) Derive the DW schema from the data source schemas Allows to move forward at less expense and evaluate the benefits, but harder to grow. Top-down: Top-down: Starts with overall design and planning (mature) First, get to the DW conceptual schema, then convert data source schema into the global schema Robust but slow and expensive

39 2004/05 Sistemas de Apoio à Decisão (LEIC Tagus) Hybrid approah