A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Datawarehouse Um Ambiente Estruturado Por Michel Andrade de Souza.

Apresentações semelhantes


Apresentação em tema: "Datawarehouse Um Ambiente Estruturado Por Michel Andrade de Souza."— Transcrição da apresentação:

1 Datawarehouse Um Ambiente Estruturado Por Michel Andrade de Souza

2 Primeiro Conceito Datawarehouse Datawarehouse consiste basicamente em uma grande massa de dados não-voláteis, organizados em assuntos, integrados e variável em relação ao tempo consiste basicamente em uma grande massa de dados não-voláteis, organizados em assuntos, integrados e variável em relação ao tempo tecnologia recente tecnologia recente estudos indicam que não existam produtos que apliquem todos os requisitos para sua utilização estudos indicam que não existam produtos que apliquem todos os requisitos para sua utilização

3 Segundo Conceito O Data Warehouse (DW) é um conjunto de técnicas que aplicadas em conjunto geram um sistema de dados que nos proporcionam informações para tomada de decisões. O Data Warehouse (DW) é um conjunto de técnicas que aplicadas em conjunto geram um sistema de dados que nos proporcionam informações para tomada de decisões. Funciona tipicamente na arquitetura cliente/servidor. Funciona tipicamente na arquitetura cliente/servidor.

4 Objetivo Fornecer os subsídios necessários para a transformação de uma base de dados de uma organização de OLTP para OLAP. Fornecer os subsídios necessários para a transformação de uma base de dados de uma organização de OLTP para OLAP.

5 OLTP On-Line Transaction Processing Processamentos que executam as operações do dia-a-dia da organização Processamentos que executam as operações do dia-a-dia da organização Ênfase ao suporte do negócio, através de um processamento rápido, acurado e eficiente de dados Ênfase ao suporte do negócio, através de um processamento rápido, acurado e eficiente de dados Ex: movimento bancário Ex: movimento bancário

6 Exemplo Processamento. Transação - OLTP Início Débito R$1000,00 Crédito R$ 700,00 Crédito R$ 300,00 Fim Conta A Conta B Conta C ContaA=R$5000,00 ContaB=R$2,00 ContaC=R$100,00 ContaA=R$4000,00 ContaB=R$702,00 ContaC=R$400,00

7 OLAP On Line Analytical Processing Processamentos que suportam a tomada de decisões Processamentos que suportam a tomada de decisões Permite analisar tendências e padrões em grande quantidades de dados Permite analisar tendências e padrões em grande quantidades de dados ao longo do tempo (histórico) ao longo do tempo (histórico) e em diferentes localizações (geográficos) e em diferentes localizações (geográficos)

8 Extração e Integração dos dados DW OLTP Acesso a Dados Ambiente do DW

9 Níveis de Dados Operacional Operacional Atômico Atômico Departamental Departamental Individual Individual

10 Operacional Contém apenas dados operacionais e atende à comunidade de processamento de transações de alta performance Contém apenas dados operacionais e atende à comunidade de processamento de transações de alta performance Valores atuais Valores atuais Baseado em aplicações Baseado em aplicações

11 Atômico Contém dados operacionais que não são atualizados, Contém dados operacionais que não são atualizados, podendo armazenar dados analíticos podendo armazenar dados analíticos Variável no tempo Variável no tempo Baseado em negócios Baseado em negócios

12 Departamental Contém dados operacionais e analíticos Contém dados operacionais e analíticos Ex: departamento de contabilidade, marketing Ex: departamento de contabilidade, marketing

13 Individual Onde as análises heurísticas são feitas Onde as análises heurísticas são feitas Baseado em PCs Baseado em PCs Temporário Temporário

14 Características do Datawarehouse Orientado por temas Orientado por temas Integrado Integrado Variante no tempo Variante no tempo Não volátil Não volátil

15 Orientado por Temas Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa. Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa. Exemplos produtos, atividades, contas, clientes, etc. Exemplos produtos, atividades, contas, clientes, etc. O ambiente operacional é organizado por aplicações funcionais. O ambiente operacional é organizado por aplicações funcionais. Exemplo, em uma organização bancária, estas aplicações incluem empréstimos, investimentos e seguros. Exemplo, em uma organização bancária, estas aplicações incluem empréstimos, investimentos e seguros.

16 Integrado Refere-se à consistência de nomes, das unidades das variáveis. Refere-se à consistência de nomes, das unidades das variáveis. Dados foram transformados até um estado uniforme. Dados foram transformados até um estado uniforme. Exemplo, considere-se sexo como um elemento de dado. Exemplo, considere-se sexo como um elemento de dado.

17 Variante no Tempo Refere-se a algum momento específico, Refere-se a algum momento específico, Não é atualizável Não é atualizável Enquanto que o dado de produção é atualizado de acordo com mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. Enquanto que o dado de produção é atualizado de acordo com mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. A cada ocorrência de uma mudança, A cada ocorrência de uma mudança, Uma nova entrada é criada, para marcar esta mudança. Uma nova entrada é criada, para marcar esta mudança.

18 Não Volátil Permite o "load-and-access Permite o "load-and-access Após integração e transformação, dados armazenados em bloco para o DW Após integração e transformação, dados armazenados em bloco para o DW Após aos usuários Após aos usuários Rollback, recuperação de falhas, commits e bloqueios Rollback, recuperação de falhas, commits e bloqueios

19 Ambiente do Datawarehouse w arehouse

20 Arquitetura do Datawarehouse Arquitetura Genérica Arquitetura Genérica Camada de Bancos de Dados Operacionais Camada de Bancos de Dados Operacionais Camada de Acesso à Informação Camada de Acesso à Informação Camada de Acesso aos Dados Camada de Acesso aos Dados Camada de Metadados (Dicionário de Dados) Camada de Metadados (Dicionário de Dados) Camada de Gerenciamento de Processos Camada de Gerenciamento de Processos Camada de Transporte ou Middleware Camada de Transporte ou Middleware Camada do DW Camada do DW Camada de Gerenciamento de Replicação Camada de Gerenciamento de Replicação Arquitetura de Dados Arquitetura de Dados

21 Camada de Bancos de Dados Operacionais Corresponde aos dados das bases de dados operacionais da organização junto com dados provenientes de outras fontes externas que serão tratados e integrados para compôr o DW. Corresponde aos dados das bases de dados operacionais da organização junto com dados provenientes de outras fontes externas que serão tratados e integrados para compôr o DW.

22 Camada de Acesso à Informação É a camada com a qual os usuários finais interagem. É a camada com a qual os usuários finais interagem. Representa as ferramentas que o usuário utiliza no dia a dia Representa as ferramentas que o usuário utiliza no dia a dia Exemplo: Planilha de Cálculo MS-Excell Exemplo: Planilha de Cálculo MS-Excell Envolve o hardware e software utilizado para obtenção de relatórios, planilhas, gráficos e outros. Envolve o hardware e software utilizado para obtenção de relatórios, planilhas, gráficos e outros. Ex: Data Mining. Ex: Data Mining.

23 Camada de Acesso aos Dados Ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Comunica-se não só com diferentes SGBDs e sistemas de arquivos de um mesmo ambiente como também, idealmente, com outras fontes sob diferentes protocolos de comunicação, no que se chama acesso universal de dados. Comunica-se não só com diferentes SGBDs e sistemas de arquivos de um mesmo ambiente como também, idealmente, com outras fontes sob diferentes protocolos de comunicação, no que se chama acesso universal de dados.

24 Camada de Metadados (Dicionário de Dados) Metadados: são as informações sobre os dados mantidos pela empresa Metadados: são as informações sobre os dados mantidos pela empresa Ex: (descrições de registro em um programa COBOL, comandos CREATE do SQL, informação em um diagrama E-R, dados em um dicionário de dados Ex: (descrições de registro em um programa COBOL, comandos CREATE do SQL, informação em um diagrama E-R, dados em um dicionário de dados Funcionalidade - > grande variedade de metadados Funcionalidade - > grande variedade de metadados Acesso aos dados de um DW sem que tenha que saber onde residem Acesso aos dados de um DW sem que tenha que saber onde residem

25 Camada de Gerenciamento de Processos Envolve-se com o controle das diversas tarefas a serem realizadas para construir e manter as informações do dicionário de dados e do DW Envolve-se com o controle das diversas tarefas a serem realizadas para construir e manter as informações do dicionário de dados e do DW Responsável pelo gerenciamento dos processos para manter o DW atualizado e consistente. Responsável pelo gerenciamento dos processos para manter o DW atualizado e consistente.

26 Camada de Transporte Middleware Gerencia o transporte de informações pelo ambiente de redes Gerencia o transporte de informações pelo ambiente de redes Usada para isolar aplicações, operacionais ou informacionais, do formato real dos dados nas duas extremidades Usada para isolar aplicações, operacionais ou informacionais, do formato real dos dados nas duas extremidades Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados. Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados.

27 Camada do DW O DW propriamente dito corresponde aos dados usados para fins "informacionais". O DW propriamente dito corresponde aos dados usados para fins "informacionais". Em alguns casos, DW é simplesmente uma visão lógica ou virtual dos dados Em alguns casos, DW é simplesmente uma visão lógica ou virtual dos dados Em um DW que exista fisicamente, cópias dos dados operacionais e externos são de fato armazenadas Em um DW que exista fisicamente, cópias dos dados operacionais e externos são de fato armazenadas

28 Camada de Gerenciamento de Replicação Inclui todos os processos necessários para selecionar, editar, resumir, combinar e carregar o DW e as correspondentes informações de acesso a partir das bases operacionais e fontes externas. Inclui todos os processos necessários para selecionar, editar, resumir, combinar e carregar o DW e as correspondentes informações de acesso a partir das bases operacionais e fontes externas. Pode envolver programação complexa Pode envolver programação complexa Programas de análise da qualidade dos dados e filtros que identificam padrões nos dados operacionais Programas de análise da qualidade dos dados e filtros que identificam padrões nos dados operacionais

29 Passos para Aplicação de um DW DW não é um produto que se compra, mas sim um projeto que envolve: DW não é um produto que se compra, mas sim um projeto que envolve: Análise e implementação, com a participação de várias tecnologias. Análise e implementação, com a participação de várias tecnologias. Sete passos para a criação de um DW, que pode ser inicialmente um data mart (assunto específico) até mesmo um DW no nível corporativo. Sete passos para a criação de um DW, que pode ser inicialmente um data mart (assunto específico) até mesmo um DW no nível corporativo.

30 1° Passo Os primeiros resultados devem estar disponíveis a curto prazo. É importante traduzir rapidamente as necessidades do negócio em uma especificação que possa ser construída em etapas. Os primeiros resultados devem estar disponíveis a curto prazo. É importante traduzir rapidamente as necessidades do negócio em uma especificação que possa ser construída em etapas. Minimiza riscos e o tempo de apresentação dos resultados iniciais. Minimiza riscos e o tempo de apresentação dos resultados iniciais.

31 2° Passo Desafio de integração de sistemas. Desafio de integração de sistemas. Dados de produção e de fontes externas precisam ser mapeados para o modelo de dados do DW. Dados de produção e de fontes externas precisam ser mapeados para o modelo de dados do DW. Sincronismo Sincronismo Entre os dados operacionais e os dados de tomada de decisão. Entre os dados operacionais e os dados de tomada de decisão. Sincronia em um banco de dados multi- dimensional. Sincronia em um banco de dados multi- dimensional.

32 3° Passo A escolha do banco de dados de suporte ao DW precisa ser criteriosa. A escolha do banco de dados de suporte ao DW precisa ser criteriosa. Critérios Critérios Desempenho na carga e indexação dos dados, Desempenho na carga e indexação dos dados, Tempo de resposta, Tempo de resposta, Capacidade de armazenamento, Capacidade de armazenamento, Paralelismo, Paralelismo, Escalabilidade. Escalabilidade.

33 4° Passo Considerar as ferramentas disponíveis no mercado Considerar as ferramentas disponíveis no mercado Devem prover: Devem prover: Interfaces amigáveis, Interfaces amigáveis, Geração de relatórios, Geração de relatórios, Análises multi-dimensionais, Análises multi-dimensionais, Acesso via Web e data mining. Acesso via Web e data mining.

34 5° Passo Construir um DW que possa ser expandido, mantendo níveis aceitáveis de desempenho até gigabytes. Construir um DW que possa ser expandido, mantendo níveis aceitáveis de desempenho até gigabytes.

35 6° Passo Ambiente DW deve ser aberto para permitir que os componentes ou ferramentas identificadas no passo 4 possam ser substituídas por outras mais atuais e eficientes. Ambiente DW deve ser aberto para permitir que os componentes ou ferramentas identificadas no passo 4 possam ser substituídas por outras mais atuais e eficientes. Ferramentas

36 7° Passo Considerar o sistema de armazenamento que fisicamente gerencia Considerar o sistema de armazenamento que fisicamente gerencia O tráfego O tráfego Alocação Alocação Backup Restauração dos dados Restauração dos dados

37

38 Ferramentas de Extração Como o DW é um BD que fica separado do sistema OLTP, existem ferramentas que automatizam o processo. Como o DW é um BD que fica separado do sistema OLTP, existem ferramentas que automatizam o processo. Ex: Ex: Platinum Platinum Prism Prism Power Stage (sybase) Power Stage (sybase)

39 Exemplos de Banco de Dados Oracle Oracle Sybase Sybase DB2 DB2 Informix Informix SQL Server SQL Server

40 Contatos : Michel Andrade de Souza


Carregar ppt "Datawarehouse Um Ambiente Estruturado Por Michel Andrade de Souza."

Apresentações semelhantes


Anúncios Google