1 Data Warehouse Professor Professor Edson Emílio Scalabrin telefone: 0xx41-330-1786 download:

Apresentação em tema: "1 Data Warehouse Professor Professor Edson Emílio Scalabrin telefone: 0xx41-330-1786 download:"— Transcrição da apresentação:

1

2 1 Data Warehouse Professor Professor Edson Emílio Scalabrin telefone: 0xx41-330-1786 e-mail: scalabrin@ppgia.pucpr.br download: http://www.ppgia.pucpr.br/~scalabrin

3 2 Objetivo Apresentar: Apresentar: conceitos conceitos as características de um Data Warehouse as características de um Data Warehouse algumas arquiteturas algumas arquiteturas Modelos de dados Modelos de dados Desenvolvimento do Data Warehouse Desenvolvimento do Data Warehouse Povoamento do Data Warehouse Povoamento do Data Warehouse Extração de informações do Data Warehouse Extração de informações do Data Warehouse Análise do uso da tecnologia Data Warehouse Análise do uso da tecnologia Data Warehouse

4 3 Plano CONCEITOS CONCEITOS As Características de um Data Warehouse Algumas arquiteturas Algumas arquiteturas Modelos de dados Modelos de dados Desenvolvimento do Data Warehouse Desenvolvimento do Data Warehouse Povoamento do Data Warehouse Povoamento do Data Warehouse Extração de informações do Data Warehouse Extração de informações do Data Warehouse Análise do uso da tecnologia Data Warehouse Análise do uso da tecnologia Data Warehouse

5 4 Data Warehouse Definição I: É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão [ Inmon ] É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão [ Inmon ]

6 5 Data Warehouse Definição II: É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão [Harjinder ] É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão [Harjinder ]

7 6 Data Warehouse Definição III: É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final de acessar informações que estão distribuídas em vários sistemas da organização [ Barquini ] É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final de acessar informações que estão distribuídas em vários sistemas da organização [ Barquini ]

8 7 Dados operacionais vs. Data Warehouse

9 8

10 9 Componente de um Data Warehouse Dados Operacionais Dados Externos Qualquer fonte Data Warehouse Qualquer Dado Qualquer acesso Ferramentas de OLAP Aplicativos Ferramentas de consultas (relatórios) Data Warehouse não é o fim, ele é um meio que as empresas dispõem para analisar informações podendo utilizá-las para a melhoria dos processos atuais e futuros

11 10 Plano Conceitos Conceitos AS CARACTERÍSTICAS DE UM DATA WAREHOUSE Algumas arquiteturas Algumas arquiteturas Modelos de dados Modelos de dados Desenvolvimento do Data Warehouse Desenvolvimento do Data Warehouse Povoamento do Data Warehouse Povoamento do Data Warehouse Extração de informações do Data Warehouse Extração de informações do Data Warehouse Análise do uso da tecnologia Data Warehouse Análise do uso da tecnologia Data Warehouse

12 11 Data Warehouse Características Orientação por assunto Orientação por assunto Integração Integração Variação no tempo Variação no tempo Não volatilidade Não volatilidade Localização Localização Credibilidade dos dados Credibilidade dos dados Granularidade Granularidade Metadados Metadados

13 12 Data Warehouse Características Orientação por assunto Orientação por assunto Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse das pessoas que irão utilizá-lo. Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse das pessoas que irão utilizá-lo.Exemplo: Uma empresa pode trabalhar com vendas de produtos alimentícios no varejo e o seu maior interesse ser o perfil de seus compradores, então o DW será voltado para as pessoas que compram seus produtos e não para os produtos que ela vende. Uma empresa pode trabalhar com vendas de produtos alimentícios no varejo e o seu maior interesse ser o perfil de seus compradores, então o DW será voltado para as pessoas que compram seus produtos e não para os produtos que ela vende.

14 13 Data Warehouse Características Integração Integração Incompatibilida de: mesmo elemento, nomes diferentes Incoerência: diferentes elementos, mesmo nome Aplicação A Aplicação B Aplicação C (a) Valor atual, 2 anos Aplicação A Aplicação B Aplicação C Valor atual, 1 ano Valor atual, 3 meses Valor atual, 6 meses (b)

15 14 Data Warehouse Características Integração de dados Integração de dados OPERACIONAL DATA WAREHOUSE Aplicação A: m,f Aplicação B: 1,0 Aplicação C: masculino, feminino Aplicação A: caminho - centímetros Aplicação B: caminho - pés Aplicação C: caminho - jardas Aplicação A: descrição Aplicação B: descrição Aplicação C: descrição Aplicação A: chave char(10) Aplicação B: chave dec fixed(9,2) Aplicação C: chave char(12) sexo: m, f caminho: centímetros Chave char(12) ? descrição

16 15 Data Warehouse Características Integração de dados DATA WAREHOUSE - Maria Silva - Feminino - Nascida em 01/12/68 - Duas internações em 2000 - Equipe médica - Duração média das internações - Exames requeridos - Resultados dos exames - Casada - 2 filhos Plano de Saúde - Maria Silva - Feminino - 01/12/68 Clinica - Maria Silva - Duas internações em 2000 - Equipe médica - Duração média das internações Laboratório de Exames - Maria Silva - Exames requeridos - Resultados OPERACIONAL

17 16 Data Warehouse Características Variação no tempo Operacional AtômicoDepartamentalIndividual Maria Silva Rua XV, 02 Medicação: X, Y Entrada: 05/11/00 Alta: 10/11/00 Janeiro 4101 Fevereiro 4209 Março 4175 Abril 4215............ Pacientes desde 1980 tomando o medicamento X e com período de internação superior à 5 dias Quais são medicamentos ministrados à Maria Silva neste momento? Quais foram os medicamentos ministrados à Maria Silva nos últimos 5 anos? Estamos atendendo mais ou menos pacientes ao longo do tempo? Quais são os riscos (tendências) em relação aos pacientes que foram vitimas de infeção hospitalar? Maria Silva Rua 24 horas, 12 Medicação: X, Z Entrada: 01/03/98 Alta: 10/03/98 Maria Silva Rua XV, 02 Medicação: X, Y Entrada: 10/11/00 Alta: 10/11/00

18 17 Data Warehouse Características Não volatilidade OPERACIONAL alterar incluir acessar excluir incluir alterar excluir DATA WAREHOUSE carregar acessar

19 18 Data Warehouse Características Localização Dados detalhados antigos Dados detalhados atuais Dados levemente resumidos Dados altamente resumidos Formas de armazenamento: único local (centralizado) único local (centralizado) por área de interesse (distribuído) por área de interesse (distribuído) por nível de detalhes por nível de detalhes

20 19 Data Warehouse Características Credibilidade dos dados Credibilidade dos dados É o mais importante para o sucesso de qualquer projeto É o mais importante para o sucesso de qualquer projeto Discrepâncias simples de todo tipo podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas; Discrepâncias simples de todo tipo podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas; Dados não dignos de confiança podem resultar em relatórios inúteis, que não tem importância alguma Dados não dignos de confiança podem resultar em relatórios inúteis, que não tem importância alguma – por exemplo, uma lista de pacientes do sexo masculino e grávidos;

21 20 Data Warehouse Características Granularidade Baixa Baixa – é possível responder a praticamente qualquer consulta – porém, grande quantidade de recursos computacionais é necessária para responder perguntas específicas Alta Alta – ocorre uma significativa redução da possibilidade de utilização dos dados para atender consultas detalhadas – porém, reduz-se muito o espaço em disco e o número de índices necessários

22 21 Data Warehouse Características Exemplo de níveis de granularidade Prod.DataQtda.Valor A113/9/0010100,00 B114/9/0015150,00 A116/9/0020200,00 A116/9/0090890,00 mês/ano Prod.Qtda.Valor 09/00A11201190,00 09/00B115150,00 Baixa Alta

23 22 Data Warehouse Características Três diferentes camadas: operacionais, centrais do Data Warehouse, nível do usuário operacionais, centrais do Data Warehouse, nível do usuário Três diferentes componentes: Mapeamento: descrevem como os dados de sistemas operacionais são transformados antes de entrarem no DW Mapeamento: descrevem como os dados de sistemas operacionais são transformados antes de entrarem no DW Histórico: descrevem as regras corretas a serem aplicadas nos dados corretos quando as regras de negócio mudam Histórico: descrevem as regras corretas a serem aplicadas nos dados corretos quando as regras de negócio mudam Algoritmos de sumarização: Algoritmos de sumarização: – mostram a relação entre os diferentes níveis de detalhes dos dados, indicando inclusive que nível de sumarização é mais adequado para um dado objetivo. Metadados

24 23 Data Warehouse Características Fontes de metadados Fontes de metadados Repositórios de ferramentas CASE Repositórios de ferramentas CASE Documentação do desenvolvimento dos sistemas operacionais Documentação do desenvolvimento dos sistemas operacionais Código fonte dos sistemas operacionais Código fonte dos sistemas operacionais Entrevistas Entrevistas O próprio ambiente do Data Warehouse O próprio ambiente do Data Warehouse – informações tais como freqüência da acesso, em que nível de agregação, tempo de resposta de cada consulta, etc..

25 24 Plano Conceitos Conceitos As características de um Data Warehouse As características de um Data Warehouse ALGUMAS ARQUITETURAS ALGUMAS ARQUITETURAS Modelos de dados Modelos de dados Desenvolvimento do Data Warehouse Desenvolvimento do Data Warehouse Povoamento do Data Warehouse Povoamento do Data Warehouse Extração de informações do Data Warehouse Extração de informações do Data Warehouse Análise do uso da tecnologia Data Warehouse Análise do uso da tecnologia Data Warehouse

26 25 Arquitetura Genérica de um D/W Camadas de bancos de dados operacionais e fontes externas: Camadas de bancos de dados operacionais e fontes externas: É composto pelos dados dos sistemas operacionais das empresas e informações provenientes de fontes externas que serão integradas para compor o DW. É composto pelos dados dos sistemas operacionais das empresas e informações provenientes de fontes externas que serão integradas para compor o DW. Camada de acesso a informação: Camada de acesso a informação: Envolve o hardware e o software utilizado para obtenção de relatórios, planilhas, gráficos e consultas. Envolve o hardware e o software utilizado para obtenção de relatórios, planilhas, gráficos e consultas. É nesta camada que os usuários finais interagem com o DW, utilizando ferramentas de manipulação, análise e apresentação dos dados, incluindo- se as ferramentas de data-mining e visualização. É nesta camada que os usuários finais interagem com o DW, utilizando ferramentas de manipulação, análise e apresentação dos dados, incluindo- se as ferramentas de data-mining e visualização. Camada de acesso aos dados: Camada de acesso aos dados: Esta camada faz a ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Esta camada faz a ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Esta camada se comunica com diferentes sistemas de bancos de dados, sistemas de arquivos e fontes sob diferentes protocolos de comunicação, o que se chama acesso universal de dados. Esta camada se comunica com diferentes sistemas de bancos de dados, sistemas de arquivos e fontes sob diferentes protocolos de comunicação, o que se chama acesso universal de dados.

27 26 Arquitetura Genérica de um D/W Camada de metadados (Dicionário de dados): Camada de metadados (Dicionário de dados): Metadados são as informações que descrevem os dados utilizados pela empresa Metadados são as informações que descrevem os dados utilizados pela empresa – descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos (E-R), dados de um dicionário de dados, etc. Camada de gerenciamento de processos: Camada de gerenciamento de processos: É a camada responsável pelo gerenciamento dos processos que contribuem para manter o DW atualizado e consistente. É a camada responsável pelo gerenciamento dos processos que contribuem para manter o DW atualizado e consistente. Camada de transporte: Camada de transporte: Esta camada gerencia o transporte de informações pelo ambiente de rede. Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados. Esta camada gerencia o transporte de informações pelo ambiente de rede. Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados. Camada do Data Warehouse : Camada do Data Warehouse : Corresponde aos dados utilizados para obter informações. Corresponde aos dados utilizados para obter informações.

28 27 Arquitetura Genérica de um D/W

29 28 Arquitetura 2o. Chaudhuri Um componente back end : conjunto de aplicações responsáveis por extrair, filtrar, transformar, integrar e carregar os dados de diferentes origens no DW; Um componente back end : conjunto de aplicações responsáveis por extrair, filtrar, transformar, integrar e carregar os dados de diferentes origens no DW; Um componente front end : conjunto de aplicações responsáveis por disponibilizar aos usuários finais acesso ao DW; Um componente front end : conjunto de aplicações responsáveis por disponibilizar aos usuários finais acesso ao DW; Um repositório para armazenar e gerenciar os metadados do sistema. Um repositório para armazenar e gerenciar os metadados do sistema. Data Warehouse (SGBD) Componente back-end Componente front-end Repositório de metadados Fontes internas Fontes externas

30 29 Arquitetura: 2o. Chaudhuri O fluxo de dados Repositório de metadados Downflow Data Warehouse Fontes internas Fontes externas Dados antigos Outflow Upflow Inflow Metaflow Componente front-end Component e back-end

31 30 Arquitetura: 2o. Valente Base de dados Integrador Extrator Data warehouse Consultas

32 31 Plano Conceitos Conceitos As características de um Data Warehouse As características de um Data Warehouse Algumas Arquiteturas Algumas Arquiteturas MODELO DE DADOS MODELO DE DADOS Desenvolvimento do Data Warehouse Desenvolvimento do Data Warehouse Povoamento do Data Warehouse Povoamento do Data Warehouse Extração de informações do Data Warehouse Extração de informações do Data Warehouse Análise do uso da tecnologia Data Warehouse Análise do uso da tecnologia Data Warehouse