A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Equipe: Gilmar Ferreira Marcos Costa Ricardo Araújo

Apresentações semelhantes


Apresentação em tema: "Equipe: Gilmar Ferreira Marcos Costa Ricardo Araújo"— Transcrição da apresentação:

1 Equipe: Gilmar Ferreira Marcos Costa Ricardo Araújo
Data Warehouse Equipe: Gilmar Ferreira Marcos Costa Ricardo Araújo

2 Centro de Informática - UFPE
O Cenário Corporações Necessitam de decisões rápidas e precisas Reação rápida a mudanças do ambiente Obtenção de vantagem competitiva Corporações As companhias precisam acelerar o processo de tomada de decisões, devendo, para isso, reagir rapidamente às mudanças do ambiente, normalmente através da análise, planejamento e execução de ações táticas ou estratégicas adequadas. Mercado globalizado e altamente competitivo. Centro de Informática - UFPE

3 Centro de Informática - UFPE
O Cenário Dados Disponíveis em sistemas não integrados Espalhados em múltiplas e independentes plataformas Dificuldade de análise Dados Exemplos de sistemas: sistema financeiro, sistema de controle de pessoal. Estas características dos dados dificultam o acesso às informações oportunas. Centro de Informática - UFPE

4 Centro de Informática - UFPE
Conceitos Processamento Operacional (OLTP) Funcionalidades do negócio Processamento de transações: inserção, atualização, consulta e deleção Reflete valor corrente, não-redundante e atualizável Altamente voláteis Modelagem E/R É o processamento realizado por sistemas computacionais que têm a finalidade de capturar as transações dos negócios do empreendimento e dar suporte as atividades diárias de uma empresa ou corporação. OLTP (On-Line Transaction Processing - Processamento de Transações On-Line) As transações realizadas normalmente afetam um único registro de cada vez. Como os registros são atualizados continuamente, os bancos de dados operacionais armazenam pouca quantidade de dados históricos. Em conseqüência, diz-se que os dados operacionais são altamente voláteis. Centro de Informática - UFPE

5 Centro de Informática - UFPE
Conceitos Processamento Analítico (OLAP) Suporte à tomada de decisão Dados históricos, não voláteis, ready-only Integram informações de diversos sistemas operacionais Permitem identificações de perfis, tendências e padrões É o processamento realizado para dar suporte à tomada de decisão. Processamento analítico, também chamado de informacional ou processamento de suporte à decisão, permite ao usuário analisar uma grande quantidade de dados, normalmente históricos, verificando problemas e situações, de modo a identificar perfis, tendências e padrões. Os sistemas analíticos não atualizam continuamente as informações, mas as mantêm como um registro específico do tempo, chamado também de instantâneos de dados (snapshot of data), acarretando, normalmente, o armazenamento de grande quantidade de dados históricos. Com isso, os dados analíticos adquirem a característica de não serem voláteis. Os bancos de dados correspondentes, ao nível de usuário, são ditos somente leitura (read-only), ou seja, somente é permitido ao usuário a realização de consultas sobre os dados e não a sua atualização [POE98], servindo basicamente para a geração de relatórios [KIM98b]. Dessa forma, dependendo do projeto e o nível de detalhes do banco de dados (dados históricos diários, semanais, mensais e anuais, dentre outros), é possível analisar uma grande massa de dados e obter informações que auxiliem a comunidade de gerentes, administradores e executivos na tomada de decisões. Os bancos de dados analíticos possuem, ainda, a grande vantagem de poderem se tornar integradores das informações provenientes dos diversos sistemas operacionais, possibilitando uma visão global de toda a organização. Centro de Informática - UFPE

6 Centro de Informática - UFPE
Conceitos Processamento Analítico (OLAP) Redundância de dados aceita Alto desempenho na recuperação de dados versus economia de espaço Banco de Dados Multidimensional Processamento Analítico On-Line (On-line Analytic Processing - OLAP) constitui-se de todas as atividades gerais de consulta e apresentação de dados numéricos e texto provenientes do DW, assim como as formas específicas de consulta e apresentação que são exemplificadas por uma grande quantidade de ferramentas OLAP [KIM98a]. O Ciclo de Vida de Desenvolvimento de Sistemas OLAP segue fases definidas e normalmente são desenvolvidos de maneira heurística, uma vez que não se conhece com precisão os requisitos e exigências dos usuários. A redundância de dados é aceita no ambiente OLAP, onde é dada uma maior importância ao alto desempenho na recuperação de dados em vez da economia de espaço de armazenamento. Centro de Informática - UFPE

7 Centro de Informática - UFPE
Conceitos OLTP X OLAP Existem várias razões para separar sistemas OLTP e OLAP (considerando especialmente sob o ponto de vista de um DW), dentre as quais destacam-se as seguintes: · desempenho: sistemas OLTP apresentam status instantâneo dos negócios de uma organização, atualizando-os constantemente à medida que as transações são concretizadas [KIM98b], devendo estar disponíveis no momento exigido. Já sistemas OLAP, realizam consultas sobre grandes massas de dados históricos de um empreendimento, devendo apresentar a resposta no menor tempo possível, que poderá ser desde segundos, minutos até mesmo várias horas [KIM98b]. A utilização de ambos sistemas juntos provocará uma disputa ou mesmo conflito entre ambos pelos recursos de máquina, degradando o tempo de resposta dos sistemas OLTP [DEV97]. Exemplo disso é que uma simples consulta ao banco de dados analítico que demore alguns minutos poderia provocar conseqüências desastrosas para um sistema operacional de reservas de passagens aéreas ou ainda a um sistema de contas a pagar e a receber, dentre muitos outros. acesso aos dados: organizações freqüentemente possuem vários sistemas OLTP independentes. O DW é um recurso centralizado que integra os diversos dados provenientes dos bancos de dados OLTP e fontes externas [KIM98b] [GRA98]. O usuário de um DW não deve estar preocupado onde o dado está armazenado. O usuário que necessita de informações analíticas devem dispor dessas, independentemente de quais sistemas OLTP que as possuam [GRA98]. · formato dos dados: os sistemas OLTP não possuem suporte explícito para representar corretamente um histórico passado [KIM98b], assim como normalmente possuem dados em formatos diversos. Já em um DW os dados possuem obrigatoriamente o elemento temporal e incluem a maioria das vezes dados sumarizados. Além disso, como o DW é um banco de dados analítico populado a partir da integração de fontes de dados internas e externas, os dados devem ser mantidos em um formato simples e padronizado [GRA98]. · qualidade dos dados: os sistemas OLTP atualizam constantemente os status de um negócio à medida que as transações são concretizadas [KIM98b], em conseqüência, uma mesma consulta analítica feita a uma base de dados operacional em tempos consideravelmente diferentes certamente produzirá resultados diferentes, o que poderá ser desastroso para um empreendimento, do ponto de vista analítico. O conceito básico no DW é que este deverá conter os valores “oficiais” da organização. Os usuários de um DW não precisam gastar tempo procurando entender se os dados obtidos em uma consulta estão corretos, mas devem estar preocupados em identificar o que significam as informações obtidas e quais as ações decorrentes que deverão ser adotadas, uma vez que o DW provê uma “simples versão da verdade” [GRA98]. Centro de Informática - UFPE

8 Centro de Informática - UFPE
Conceitos MOLAP Banco de dados multidimensional Conjunto de interfaces, aplicações e banco de dados Tecnologia proprietária Dados armazenados em cubo de n dimensões Alta performace Centro de Informática - UFPE

9 Centro de Informática - UFPE
Conceitos ROLAP Conjunto de interfaces e aplicações que dá ao BD relacional características dimensionais HOLAP Combina as tecnologias MOLAP E ROLAP Objetivo: combinar as melhores características de ambas Centro de Informática - UFPE

10 Centro de Informática - UFPE
Conceitos Sistema de Apoio à Decisão (SAD) Realizam processamento analítico Provêem as informações necessárias ao usuário Permitem análise de situações e tomada de decisões Necessidades estratégicas e táticas Também conhecidos como Decision Support Systems (DSS) [POE98] ou ainda como Sistemas de Apoio à Decisão (SAD) [INM97], são sistemas que realizam o processamento analítico e provêem as informações necessárias ao usuário, permitindo a análise de situações e a tomada de decisões. Dependendo da amplitude da análise de dados históricos, poderá atender a necessidades estratégicas ou táticas. A tomada de decisões estratégicas ocorrem, normalmente, após a análise de grande quantidade de dados armazenados por vários anos, através da análise de padrões, comportamentos e tendências, levando a tomadas de decisões que afetam os rumos e diretrizes de um empreendimento como todo, como por exemplo o desenvolvimento de novos produto e serviços. Já as decisões táticas são bem mais freqüentes, usualmente analisam uma quantidade menor de dados e tem como finalidade responder imediatamente a situações específicas do negócio, como por exemplo a revisão e modificação de atividades dos setores de produção, investimentos em tempo real, decisão sobre preços de produtos baseados nas condições de mercado e aumentar ou diminuir a quantidade de artigo ofertado por uma empresa [POE98]. Centro de Informática - UFPE

11 Centro de Informática - UFPE
Data Warehouse Data WareHouse SAD Fornece informações para auxiliar a tomada de decisões estratégicas Une, de forma organizada, informações espalhadas em diversas fontes SAD – Sistemas que realizam o processamento analítico e provêem as informações necessárias ao usuário, permitindo a análise de situações e a tomada de decisões. Centro de Informática - UFPE

12 Centro de Informática - UFPE
Definição de DW Data WareHouse Inmon: Data Warehouse é uma coleção de dados orientados à assunto, integrada, dinâmica e não-volátil, para o suporte a decisões de gerenciamento Kimball: Data Warehouse é a fonte de dados de consulta do empreendimento Não há uma definição precisa sobre o que é Data Warehouse. Uma boa definição: Data Warehouse é um sistema corporativo onde os dados obtidos de sistemas fonte são devidamente tratados e posteriormente depositados em bancos de dados informacionais, ficando em condições de serem analisados para permitir a tomada de decisão. Esse sistema possui componentes bem definidos onde atuam diversos processos, tais como extração, transformação e carga de dados. Cada processo pode ser realizado através do auxílio de software desenvolvido pela própria equipe do DW ou de ferramenta adquirida junto de produtos para DW. Centro de Informática - UFPE

13 Centro de Informática - UFPE
Data Mart Data Mart Subconjunto lógico do DW Projetado para representar uma função particular do negócio Rapidamente implementável e de baixo custo Controle local, em vez de centralizado Redução do tempo de resposta a consultas Data Mart: Termo usado para se referir a um DW de pequena capacidade usado para atender especificamente a uma unidade estratégica de negócio ou a um departamento da operação. Normalmente constitui-se de um pequeno DW, com limitado escopo de dados, projetado para representar um função particular do negócio. Desenvolvimento de projeto piloto, limitado a uma área de negócios específica, de modo a prover uma oportunidade de aprendizagem e futura integração em um projeto global e único que seria um DW corporativo. Visão bottom-up. Necessidade de obtenção imediata de informações táticas e estratégicas dos negócios, assim como as restrições de recursos (custos, tempo e conhecimento técnico). Controle local em vez de centralizado, redução do tempo de resposta a consultas, custo benefício bastante favorável Rápido retorno de envestimento para empresas. Altos custos limitam uso DW para grandes companhias. Alternativa reduzida e de baixo custo Centro de Informática - UFPE

14 Centro de Informática - UFPE
Data Mart Problemas Pode acarretar a fragmentação de dados da organização Solução Deve haver planejamento para futura integração com um DW único de toda empresa Construção de um DW na forma de DM distribuídos em unidades individuais Sem planejamento global acarreta a fragmentação de dados de uma organização e inibe a utilização de forma integrada na corporação, podendo fazer surgir ilhas. O problema da integração de DM pode ser superado adotando-se uma das seguintes soluções: antes de se iniciar o desenvolvimento de um data mart deve ser realizado um projeto mestre contendo a arquitetura básica e geral de todo o DW, o que permitirá a sua integração no futuro em um empreendimento único ou, então, construir um completo DW na forma de DM distribuídos em unidades individuais. Centro de Informática - UFPE

15 ODS: Operational Data Store
Usados para decisões a curto prazo envolvendo aplicações de missão crítica Trabalha diretamente com sistemas legados Dados mais antigos podem ser movidos e sumarizados para o DW É a combinação da capacidade de sistemas de suporte à decisão de natureza tática com requisitos de sistemas operacionais. É um BD para sistemas de processamento de transações que usam os conceitos de DW, para prover a limpeza de dados. Ligado diretamente a sistemas legados que lhe fornecem dados. Dois conceitos: O ODS serviria como ponto de integração para sistemas operacionais distintos. Uma vez que este tipo de ODS necessita constante acesso operacional e atualização ele deveria ser alojado fora do DW. O segundo é que ODS tem a finalidade de suprir dados precisos e detalhados para suporte a decisão, podendo conter dados integrados em um determinado nível de detalhes, vindo a se constituir como uma parte de DW e não como um sistema separado. Na primeira interpretação, ODS é um componente operacional e no segundo conceito é simplesmente parte do DW. Centro de Informática - UFPE

16 Modelagem Processamento Analítico
Problemas da Modelagem E/R Redução de visão global do negócio para grandes modelos Não tem alto desempenho na recuperação de dados (principalmente joins) Para cada variação na estrutura do modelo, há necessidade de reescrever e ajustar as implementações Um problemas desse modelo é que, quanto maior for o escopo do empreendimento que está sendo modelado, maior será a quantidade de entidades e seus relacionamentos, podendo acarretar as seguintes desvantagens: excessiva complexidade da representatividade gráfica do modelo, reduzindo a visão global do negócio; o usuário final poderá ter dificuldades em entender ou se lembrar do MER; esse modelo não apresenta alto desempenho na recuperação de dados, principalmente quando há necessidade de realizar junção de várias tabelas. Outra restrição da modelagem entidade relacionamento é que a cada variação na estrutura do modelo, há necessidade de reescrever e ajustar as implementações. Isso significa que uma vez realizado o ajustamento, as declarações SQL são muito vulneráveis a modificações nos hábitos de consulta do usuário, porque os esquemas são assimétricos. Centro de Informática - UFPE

17 Modelagem Processamento Analítico
Modelagem Dimensional Específica para processamento analítico Apresentação de dados padronizada, intuitiva e que permite alto desempenho de acesso Dois tipo de tabelas: Fato e dimensão. Chave primária simples da tabela dimensão corresponde à chave estrangeira de fato (Esquema estrela) É uma técnica de projeto lógico que busca apresentar os dados em uma estrutura padronizada que é intuitiva e permite alto desempenho de acesso [KIM98a], específica para suportar processamento analítico [POE98]. A modelagem dimensional é uma alternativa para a modelagem entidade relacionamento e contêm as mesmas informações [KIM98a]. Todo modelo dimensional é composto de dois tipos de tabelas: fato e dimensão [KIM98a] [KIM98b] [POE98] [GRA98] [SEN98] [DEV97]. A tabela fato é central, possui uma chave primária composta, usualmente armazena uma grande quantidade de dados (de gigabytes a terabyte) e contém as medições numéricas do negócio. As tabelas dimensão normalmente possuem uma chave simples, são pequenas e armazenam dados descritivos do negócio. A chave primária simples da tabela dimensão corresponde exatamente à chave estrangeira da tabela fato, permitindo, assim a ligação entre as tabelas. Esta estrutura característica é freqüentemente chamada de star join (esquema estrela), onde todas as tabelas estão desnormalizadas. Essa estrutura extremamente previsível oferece imensa vantagem no processamento analítico: o motor do banco de dados (database engine) pode restringir primeiro as tabelas dimensão e então realizar ação sobre a tabela fato uma única vez, utilizando o produto cartesiano das chaves da tabela dimensão que satisfizeram as restrições do usuário, com as chaves correspondentes na tabela fato [KIM98a]. No modelo dimensional todas as dimensões são equivalentes e iguais pontos de entrada na tabela fato, conferindo-lhe o caráter simétrico. Além disso, considera-se que as interfaces de usuário são simétricas, as estratégias de consulta são simétricas e as consultas SQL geradas contra o modelo dimensional são simétricas. O projeto lógico pode ser feito praticamente independente dos padrões de consulta esperados. Este modelo apresenta uma natural e grande extensibilidade para acomodar novos e inesperados elementos de dados e novas decisões de projeto. Por grande extensibilidade entenda-se: a capacidade de todas as tabelas existentes poderem ser modificadas localmente pela simples adição de novas linhas de dados na tabela; as ferramentas de consulta e geradoras de relatórios não necessitam serem reprogramadas para acomodas as modificações; e todas as aplicações continuam a rodar sem proporcionar diferentes resultados. Depois que um DW estiver em operação é possível que sejam realizadas modificações tais como: adicionar novos e inesperados fatos, contanto que eles sejam consistentes com o nível de detalhes da tabela fato; adicionar completamente novas dimensões; adicionar novos atributos às dimensões e “quebrar” os registros de uma dimensão para um mais baixo nível de detalhamento dos dados. Existe uma variação do esquema estrela denominado snowflake (floco de neve). No esquema floco de neve à tabela dimensão é normalizada e, em conseqüência, além de continuar conectada à tabela fato, passa a se ligar a outra tabela dimensão. Kimball et al. [KIM98a] e [KIM98b], sugerem aos projetistas que evitem o desenvolvimento de DW segundo a estrutura floco de neve, apesar de admitir que, em alguns casos bastantes particulares, como por exemplo as dimensões geográficas, é aconselhável o seu uso. Já Poe et al. [POE98] acreditam que não se deve predeterminar uma fórmula e ajustar o DW nela. Afirma que se deve estabelecer um compromisso entre a tradicional técnica de projeto de banco de dados e o projeto de banco de dados dimensional de modo a se obter o sucesso no desenvolvimento de um DW. No modelo dimensional, todas as dimensões normalmente são iguais pontos de entrada na tabela fato, o que lhe confere a característica simétrica. Devido a esse conjunto de características, especialmente o formato simétrico dos dados, à modelagem dimensional é uma técnica bastante viável para projetar e disponibilizar sistemas analíticos sendo a mais adequada ao processamento OLAP por permitir uma maior compreensão do negócio pelo usuário final; um melhor desempenho em consultas e grande flexibilidade na modificação do modelo [KIM98a]. Centro de Informática - UFPE

18 Centro de Informática - UFPE
O ambiente de um DW Arquitetura resumida de DW Centro de Informática - UFPE

19 Características básicas
Características básicas Orientado por tema Integrado Não-volátil Variante no tempo Dados sumarizados Metadados Dados oriundos de fontes internas e/ou externas Centro de Informática - UFPE

20 Centro de Informática - UFPE
Orientado por temas Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa Exemplos produtos, atividades, contas, clientes, etc. O ambiente operacional é organizado por aplicações funcionais Exemplo, em uma organização bancária, estas aplicações incluem empréstimos, investimentos e seguros. Centro de Informática - UFPE

21 Centro de Informática - UFPE
Integrado Refere-se à consistência de nomes das unidades das variáveis Dados foram transformados até um estado uniforme Por exemplo, todas as medidas (cm, polegadas,jardas) são convertidas para metros. Centro de Informática - UFPE

22 Centro de Informática - UFPE
Não volátil Permite o "load-and-access” Os dados após serem extraídos, transformados e transportados para o DW estão disponíveis aos usuários somente para consulta Centro de Informática - UFPE

23 Centro de Informática - UFPE
Variante no tempo Os DW armazenam dados por um período de tempo de 5 a 10 anos Refere-se a algum momento específico não é atualizável No DW haverá sempre uma tabela dimensão ou fato, cuja estrutura registrará o elemento tempo Centro de Informática - UFPE

24 Centro de Informática - UFPE
Metadados “Dados sobre dados” [INMON ] Provêm informações sobre a estrutura de dados e as relações entre estas dentro ou entre bancos de dados “São todas as informações do ambiente do DW que não são seus próprios dados” [Kimball] Centro de Informática - UFPE

25 Centro de Informática - UFPE
Granularidade É o nível de detalhes dentro do banco de dados do DW Quanto menor a granularidade, maior o nível de detalhes e, conseqüentemente, maior o volume de dados armazenado Exemplo, Registro de Vendas de uma rede de supermercados: diária: sumarização de vendas e carga diária no Banco de Dados mensal: sumarização de dados e carga a cada 30 dias no Banco de Dados Centro de Informática - UFPE

26 Centro de Informática - UFPE
Agregação São registros sumarizados logicamente redundantes com os dados básicos do DW Finalidades: melhorar o tempo de reposta as consultas reduzir o tempo de processamento reduzir espaço de armazenamento Centro de Informática - UFPE

27 Modelagem dimensional
Hipercubo, onde cada célula contém um valor a partir dos lados desse cubo que definem as dimensões valor Centro de Informática - UFPE

28 Modelagem dimensional
Representação voltada para processamento analítico. Intuitividade para o decisor Suporte de tecnologias MOLAP, ROLAP ou HOLAP Dois tipos principais de estruturas ou esquemas: estrela (star schema) ou floco de neve (snowflake schema) Centro de Informática - UFPE

29 Modelagem dimensional
Tabelas fatos Contêm as medições numéricas do negócio Exemplo: unidades_vendidas, custo_dolar Grande quantidade de dados Chave primária composta por FKs Atributos numéricos e valorados Centro de Informática - UFPE

30 Modelagem dimensional
Tabelas dimensão Contém dados descritivos do negócio Chave primária simples Pequena quantidade de informações se comparadas com as tabelas fato Modelos reais contêm entre 4 e 15 dimensões Modelos com mais de 20 dimensões devem ser melhor estudados Centro de Informática - UFPE

31 Centro de Informática - UFPE
Esquema estrela Este esquema é chamado de estrela, por apresentar a tabela de fatos "dominante" no centro do esquema e as tabelas de dimensões nas extremidades. Centro de Informática - UFPE

32 Centro de Informática - UFPE
Esquema estrela Permite projetar o BD da forma como o usuário pensa em usá-lo analiticamente Limitações: Tabela dimensional possui uma quantidade muito grande de atributos Soluções: Múltiplas tabelas de fatos Tabelas associativas Tabelas externas Centro de Informática - UFPE

33 Centro de Informática - UFPE
Esquema estrela Múltiplas tabelas de fato Centro de Informática - UFPE

34 Centro de Informática - UFPE
Esquema estrela Tabelas associativas Centro de Informática - UFPE

35 Centro de Informática - UFPE
Esquema estrela Tabelas externas Centro de Informática - UFPE

36 Centro de Informática - UFPE
Esquema floco de neve Extensão esquema estrela onde cada uma das "pontas" da estrela passa a ser o centro de outras estrelas Centro de Informática - UFPE

37 Integração de Data Marts e DW
Possível através do conceito de Data Warehouse bus Esquema geral e padronizado de tabelas dimensão e fato Permite desenvolvimento evolucionário Centro de Informática - UFPE

38 Centro de Informática - UFPE
Topologias de DWs Centralizada Único Banco de Dados Físico usados onde existe uma necessidade comum de informações. Data Warehouse e Data Marts ligação de vários DM a um DW Usuário pode pode acessar os DM (gerente de departamento) ou acessar o DW para obter informações globais da organização Centro de Informática - UFPE

39 Centro de Informática - UFPE
Topologias de DWs Distribuída Vários DW interligados através de uma rede com forte suporte a processamento distribuído Usuário pode conectar-se a qualquer DW Apresenta problemas de desempenho Será muito utilizada para dar suporte às aplicações para Web. Centro de Informática - UFPE

40 Centro de Informática - UFPE
Topologias de DWs Desenvolvimento estratégico Desenvolvimento botton-up de Data Marts Desenvolvimento top-down de dados Possibilita criação de Sistemas flexíveis e escaláveis Centro de Informática - UFPE

41 Centro de Informática - UFPE
Arquitetura de um DW Arquitetura de Dados Uma camada (one tier) Dados armazenados uma única vez Duas camadas (two tier) Dados operacionais e analíticos separados em camadas distintas Três camadas (three tier) Transformação de dados não é executada em um único passo Centro de Informática - UFPE

42 Arquitetura de Dados do DW
Uma camada Centro de Informática - UFPE

43 Arquitetura de Dados do DW
Duas camadas Centro de Informática - UFPE

44 Arquitetura de Dados do DW
Três camadas Centro de Informática - UFPE

45 Centro de Informática - UFPE
Arquitetura de um DW Arquitetura de Acesso aos Dados Duas camadas Acesso direto ao DW e Metadados Três camadas (ROLAP) Servidor de aplicações Três camadas + (MOLAP) Servidor de aplicações + Cubo OLAP Centro de Informática - UFPE

46 Arquitetura de Acesso aos Dados do DW
Duas camadas Centro de Informática - UFPE

47 Arquitetura de Acesso aos Dados do DW
Três camadas Centro de Informática - UFPE

48 Arquitetura de Acesso aos Dados do DW
Três camadas + Centro de Informática - UFPE

49 Centro de Informática - UFPE
Arquitetura de um DW Arquitetura Funcional Plano geral do que se deseja do Data Warehouse Descreve o fluxo de dados em todas as etapas Especifica técnicas e ferramentas necessárias Centro de Informática - UFPE

50 Arquitetura Funcional do DW
Centro de Informática - UFPE

51 Arquitetura Funcional do DW
Componentes da Área Interna Sistemas Fontes Sistemas operacionais internos + fontes externas Área de Organização de Dados Lugar onde os valores a serem adicionados são tratados (Motor do DW) Servidor de Apresentação Compartilhado entre as Áreas Componentes Data Marts com dados agregados Data Marts com dados atômicos Data Warehouse Bus Catálogo de Metadados Centro de Informática - UFPE

52 Arquitetura Funcional do DW
Serviços da Área Interna Extração Carga incremental Baseado em transações Carga completa Transformação de dados Integração Limpeza Conversão de tipos Combinação Agregação etc. Centro de Informática - UFPE

53 Arquitetura Funcional do DW
Serviços da Área Interna (cont) Carga de Dados Suporte para múltiplos destinos Otimização do processo de carga Controle de Dados organizados Definição e Agendamento de trabalhos Monitoramento Arquivo de log Manipulação de exceções Manipulação de erros Notificação Centro de Informática - UFPE

54 Arquitetura Funcional do DW
Gerenciamento de recursos da Área Interna Backup e Recovery Archive e Retrieval Metadados da Área Interna Dos sistemas fonte Das especificações da fonte Das informações descritivas da fonte Dos processos de informação Centro de Informática - UFPE

55 Arquitetura Funcional do DW
Metadados da Área Interna (cont) Da área de organização de dados Das informações de aquisição de dados Do gerenciamento das tabelas dimensão Das transformações e agregações De auditorias, logs de trabalho e documentação Do banco de dados Centro de Informática - UFPE

56 Arquitetura Funcional do DW
Componentes da Área Externa Servidor de apresentação Dados disponibilizados para usuário final Ferramenta de acesso aos dados Consultas ad hoc (utilização de cache) Drill down, Drill up ou roll up, Slice e Dice Ferramenta geradora de relatórios Relatórios padronizados (utilização de cache) Modelos de aplicações Data Mining Sistemas após o DW Sistemas de geração de relatórios orientados a transações (ex.: Sistema de previsão de demanda) Centro de Informática - UFPE

57 Arquitetura Funcional do DW
Serviços da Área Externa Warehouse browsing Ligados ao cadastro de metadados Serviços de acesso e segurança Autenticação e autorização Serviços de monitoramento de atividades Centrados sobre: Desempenho, suporte ao usuário, marketing e planejamento Centro de Informática - UFPE

58 Arquitetura Funcional do DW
Serviços da Área Externa (cont) Serviços de gerenciamento de consultas Simplificação do conteúdo Reformulação da consulta Redirecionamento de consulta Consciência de agregados Serviços de padronização de relatórios Permitir criação de relatórios em formatos pré-definidos Centro de Informática - UFPE

59 Arquitetura Funcional do DW
Metadados da Área Externa Descrição das colunas, tabelas e agrupamentos Consultas pré-formuladas Perfis de privilégio de usuários Mapas de acessos à tabelas, visões, relatórios e dados Documentação para Usuário Final Centro de Informática - UFPE

60 Arquitetura Funcional do DW
Tendências Futuras Área Interna Sistema de participação de fonte ativa Envio de dados Sistemas orientados a objetos Área Externa Autenticação e autorização Centralização dos serviços de acesso Acesso a clientes baseados na Web Centro de Informática - UFPE

61 Centro de Informática - UFPE
Ferramentas DBMINER Procura integrar tecnologias de DW e Data Mining Banco de dados analítico MOLAP Importa um conjunto de tabelas provenientes de BDRs como MS SQL Server, MS Acess, Oracle ou Text Files Possui wizard para montar Data Mart Centro de Informática - UFPE

62 Centro de Informática - UFPE
Ferramentas MS SQL Server Conjunto de Aplicativos da Microsoft Banco de dados relacional, ferramentas OLAP e MS English Query Torna possível implementação de sistemas de suporte à decisão ROLAP, MOLAP, OLAP Serviços de importação, extração, transformação, validação e limpeza de dados heterogêneos Serviços de gerenciamento e ferramentas voltadas para o usuário final Centro de Informática - UFPE

63 Centro de Informática - UFPE
Conclusões Data Warehousing integra grandes volumes de dados originados em sistemas separados Necessitam de grande esforço para seu desenvolvimento Torna possível a descoberta de conhecimento escondido nos dados Útil para organizações que precisem tomar decisões estratégicas de risco e que necessitem se posicionar de forma vantajosa Centro de Informática - UFPE

64 Centro de Informática - UFPE
Conclusões Desenvolvimento de servidores de BD paralelos poderá viabilizar o suporte a Data Warehouses cada vez maiores Tratará dados multimídia Data WareHouse deverá também ser viabilizado na Internet Desenvolvimento de servidores de BD paralelos poderá viabilizar o suporte a Data Warehouses cada vez maiores, permitindo processamento mais rápido de suas dispendiosas consultas. O processamento paralelo acelera dramaticamente o processamento distribuindo a execução de uma tarefa por múltiplos processadores. Dados multimídia ampliarão as fronteiras do DW Viabilização na Internet: baixo custo por usuário e acesso universal. Diminui custos de investir em um infraestrutura do lado cliente quando for adicionar um novo usuário. Poderia viabilizar algumas informações a empresas parceiras Centro de Informática - UFPE


Carregar ppt "Equipe: Gilmar Ferreira Marcos Costa Ricardo Araújo"

Apresentações semelhantes


Anúncios Google