©Silberschatz, Korth and Sudarshan21.1Database System Concepts 1 Tipos de Sistemas Sistemas Operacionais (DB) Sistemas de Registo Histórico (DW)

©Silberschatz, Korth and Sudarshan21.2Database System Concepts 2 Sistemas típicos das Organizações Portais Sistemas de Suporte à Decisão Data Warehouse A Organização Extranets Clientes Soluções CRM Soluções B2B Data Marts Data Stages ERPs Fornecedores

©Silberschatz, Korth and Sudarshan21.3Database System Concepts 3 Taxonomia de Dados e de Sistemas Os dados podem ser classificados como: Históricos/Projectados Primitivos/Derivados Públicos/Privados Os diferentes tipos de dados determinam as características dos Sistemas de Informação. Immon 93 - “Data Architecture: The Information Paradigm”

©Silberschatz, Korth and Sudarshan21.4Database System Concepts 4 Taxonomia de Dados e de Sistemas Dados Primitivos / Derivados Primitivos  dependem de uma única ocorrência ou facto na organização. Exemplo, registo da data, montante e intervenientes de cada transação. Derivados  os dados derivados dependem de vários factos ou ocorrências na organização. São dados calculados, agregados e resumidos

©Silberschatz, Korth and Sudarshan21.5Database System Concepts 5 Taxonomia de Dados e de Sistemas Dados Históricos/Projectados “Históricos”  registam factos acontecidos com valores precisos e correctos. Existe acordo quando à forma de os obter ou calcular. Projectados  são estimativas ou previsões de factos que irão acontecer. O conceito de correcto ou incorrecto não se aplica às projecções. Normalmente não existe unanimidade quando à forma de os obter ou calcular.

©Silberschatz, Korth and Sudarshan21.6Database System Concepts 6 Taxonomia de Dados e de Sistemas Dados Públicos/Privados Públicos  São dados cuja integridade é mantida pela organização. Podem ser o único registo de um facto na organização. Interessam a vários indivíduos da organização. Privados  Traduzem as necessidades imediatas de cada indivíduo. Têm como dono e interessam a um único indivíduo.

©Silberschatz, Korth and Sudarshan21.7Database System Concepts 7 Taxonomia de Dados e de Sistemas Sistemas OperacionaisSistemas de Suporte à Decisão Data Warehouse atómicodepartamentalindividual PrimitivosDerivados Sistemas de suporte Sistemas de registo + públicos + privados + orientados à aplicação + orientados ao assunto Presente Históricos Estimativas Data Marts Data Marts

©Silberschatz, Korth and Sudarshan21.8Database System Concepts 8 Taxonomia de Dados e de Sistemas Diferenças entre dados Primitivos/Derivados

©Silberschatz, Korth and Sudarshan21.9Database System Concepts 9 Taxonomia de Dados e de Sistemas Sistemas Operacionais Suportam as operações diárias do negócio (seg. a seg), segundo processos bem definidos Manipulam dados descreve o estado actual do negócio A informação refere-se às operações atómicas São optimizados para o processamento rápido Os sistemas são optimizados para o armazenamento e modificação da informação Os clientes acedem cada vez mais a estes dados Data warehouse & Sistemas de Suporte à Decisão São usados para gerir e controlar o negócio A informação é uma série de vistas do negócio em determinados pontos no tempo A optimização (desnormalização) resulta apenas do facto de não haver updates Os sistemas são optimizados para a pesquisa da informação Estes sistemas dão suporte a processos não definidos

©Silberschatz, Korth and Sudarshan21.10Database System Concepts 10 Data Warehouse Data Mart Data Mart Extração, Limpeza e Carregamento de Dados Old Detail Current Detail Sistemas Operacionais Sistemas Legados Highly Summarized Data Meta Data M/D OLAP Data Mining Data Warehouses e Sistemas Suporte à Decisão

©Silberschatz, Korth and Sudarshan21.11Database System Concepts 11 Taxonomia de Dados e de Sistemas Exemplo de Informação/Queries em cada nível Operacional J Jones 123 Main St Credit-AA Atomic /DW J Jones Hight St Credit-B J Jones Hight St Credit-A J Jones 1989-pres. 123 Main St Credit-AA DataMart Client/mes Jan Feb Mar – 4175 Apr – individual Clientes desde 88 com crédito > A e contas > 5000 Qual é o crédito do J Jones ? Qual é a evolução do crédito do J Jones ? Estamos ganhar ou perder clientes de crédito ? Que características têm os clientes ?

©Silberschatz, Korth and Sudarshan21.12Database System Concepts 12 Taxonomia de Dados e de Sistemas Exemplo de Integração Operacional Life Policy J Jones female July 20, Atomic /DW Operacional Auto Policy J Jones 2 tickets bad accident Operacional health Policy J Jones 2 children High blood pressure... Operacional Home Policy J Jones 123 Main Street maried... J Jones female July 20, tickets bad accident children High blood pressure 123 Main Street maried......

©Silberschatz, Korth and Sudarshan21.13Database System Concepts 13 Data Warehousing Large organizations have complex internal organizations, and have data stored at different locations, on different operational (transaction processing) systems, under different schemas Data sources often store only current data, not historical data Corporate decision making requires a unified view of all organizational data, including historical data A data warehouse is a repository (archive) of information gathered from multiple sources, stored under a unified schema, at a single site  Greatly simplifies querying, permits study of historical trends  Shifts decision support query load away from transaction processing systems

©Silberschatz, Korth and Sudarshan21.14Database System Concepts 14 Data Warehousing

©Silberschatz, Korth and Sudarshan21.15Database System Concepts 15 Components of Data Warehouse When and how to gather data  Source driven architecture: data sources transmit new information to warehouse, either continuously or periodically (e.g. at night)  Destination driven architecture: warehouse periodically requests new information from data sources  Keeping warehouse exactly synchronized with data sources (e.g. using two-phase commit) is too expensive  Usually OK to have slightly out-of-date data at warehouse  Data/updates are periodically downloaded form online transaction processing (OLTP) systems. What schema to use  Schema integration

©Silberschatz, Korth and Sudarshan21.16Database System Concepts 16 Components of Data Warehouse (Cont.) Data cleansing  E.g. correct mistakes in addresses  E.g. misspellings, zip code errors  Merge address lists from different sources and purge duplicates  Keep only one address record per household (“householding”) How to propagate updates  Warehouse schema may be a (materialized) view of schema from data sources  Efficient techniques for update of materialized views What data to summarize  Raw data may be too large to store on-line  Aggregate values (totals/subtotals) often suffice  Queries on raw data can often be transformed by query optimizer to use aggregate values

©Silberschatz, Korth and Sudarshan21.17Database System Concepts 17 Data Warehouse Schemas

©Silberschatz, Korth and Sudarshan21.18Database System Concepts 18 Warehouse Schemas Typically warehouse data is multidimensional, with very large fact tables  Examples of dimensions: item-id, date/time of sale, store where sale was made, customer identifier  Examples of measures: number of items sold, price of items Dimension values are usually encoded using small integers and mapped to full values via dimension tables  Resultant schema is called a star schema  More complicated schema structures –Snowflake schema: multiple levels of dimension tables –Constellation: multiple fact tables