Por que Construir um Data Warehouse ? Professor Edson Emílio Scalabrin telefone: 0xx41-330-1786 e-mail: scalabrin@ppgia.pucpr.br download: http://www.ppgia.pucpr.br/~scalabrin

Objetivo Apresentar alguns pontos motivadores da construção de um data warehouse. Metodologia: Ponto de partida a evolução tecnológica na área de informática

Evolução Tecnológica 1as. Edições de Banco de Dados preocupavam-se de forma não separada do: processamento de transações (online) processamento em lote processamento analítico Edições subsequentes promovem a separação destes diversos processamentos: para atender necessidades operacionais para atender necessidades informacionais ou analíticas Evolução = PC + Linguagens de Quarta Geração.

Evolução Tecnológica Razões da divisão: operacional vs. informacional os dados que atendem as necessidades operacionais são fisicamente diferentes dos dados que atendem as necessidades informacionais; a tecnologia de suporte é diferente; a comunicação dos usuários com os BDs é diferente; as características de processamento do ambiente operacional e do ambiente informacional são fundamentalmente diferentes.

Evolução Tecnológica O que é processamento informacional ? É o processamento que atende às necessidades dos gerentes durante o processo de tomada de decisões O processamento analítico examina amplos espectros de dados para detectar tendências A execução de um processamento analítico requer o acesso muitos registros.

Evolução Tecnológica 1960 Arquivos mestres, relatórios 1965 Explosão dos arquivos mestres complexidade de manutenção e desenvolvimento sincronização dos dados hardware

Evolução Tecnológica 1970 DASD (Direct access storage device) SGBD BD “uma única fonte de dados para todo o processamento” 1975 Processamento de transações online e de alta performance

Evolução Tecnológica MIS/SAD Processamento de transações 1980 PCs, tecnologia L4G O paradigma de um único BD para todos os fins

Evolução Tecnológica Surgimento de programas de extração Trata-se de programas mais simples que varrem um arquivo ou BD, usando alguns critérios de seleção, e, ao encontrar dados que atendem aos critérios, transporta os dados para outro arquivo ou BD.

Evolução Tecnológica Natureza do processamento de extração 1985 - PCs, tecnologia L4G Iniciar com alguns parâmetros, pesquisar um arquivo baseado na satisfação dos parâmetros, e, então passar os dados para outro local. Por que processamento de extração ? Performance e controle

Arquitetura de Desenvolvimento Espontâneo SGBD A B C Ambiente de sistemas herdados

Arquitetura de Desenvolvimento Espontâneo Problemas da arquitetura: credibilidade dos dados produtividade impossibilidade de transformar dados em informação

Arquitetura de Desenvolvimento Espontâneo Wall Street Journal Dept. A 10% SGBD A SGBD B Business Week Dept. B -20% SGBD C Diferencial algorítmico: A) domingo à tarde + contas antigas B) 4a feria à tarde + contas grandes Nenhuma fonte de dados comum para começar

Arquitetura de Desenvolvimento Espontâneo Caso 1: a gerência pretende produzir um relatório corporativo utilizando os diversos arquivos e conjuntos de dados que acumulou durante os anos. O que fazer ?

Arquitetura de Desenvolvimento Espontâneo O projetista destacado para a tarefa decide que há três coisas que devem ser feitas para produzir o relatório corporativo localizar e analisar os dados para o relatório compilar os dados para o relatório obter recursos humanos de programação / análise para realizar os pontos acima. E a produtividade ?

Arquitetura de desenvolvimento espontâneo: não conduz a produtividade Produzir um relatório corporativo, varrendo todos os dados x Para localizar os dados é necessário examinar muitos arquivos x Muitos programas de extração, todos customizados, precisam cruzar diversas barreiras tecnológicas.

Arquitetura de D.E. tempo solicitado para a geração do relatório x Localizar os dados 9 - 12 meses Obter os dados 15- 24 meses Programadores/analistas ??? ---------------------------------------------------------- 3 - 5 anos 1o. Relatório 2o. Relatório . . . No. relatório 3 - 5 anos OBS: Exceto ser em raras circunstâncias, o trabalho realizado para o 1o. Relatório não prepara o caminho para os demais.

Dos Dados às Informações “. . . já é difícil descobrir quais dados estão associados a um assunto, tentar então extrair informações dessas aplicações segundo um critério geral é quase impossível . . .” Problema: a construção das aplicações jamais levou em conta a noção de integração ; decifrar uma informação não é uma tarefa fácil para o analista de SAD.

Data Warehouse ou Armazém de Dados Dept. B -20% Dept. B -20% Dept. B 5% Data Warehouse SGBD C SGBD B SGBD A Wall Street Journal Business Week

Primeiras Considerações A credibilidade dos dados É melhorada considerando a existência de uma única fonte de dados; A produtividade É melhorada visto que o trabalho efetuado para produzir o primeiro relatório prepara o ambiente para os demais; A impossibilidade de transformar dados em informação É atenuada graças a integração dos dados;