Informação e Decisão SDMS 2004 Camilo Mussi DATA WAREHOUSE Informação e Decisão SDMS 2004 Camilo Mussi

Ciclo do Processo Decisório INFORMAÇÃO DECISÃO AVALIAÇÃO AÇÃO

Extração de Informações (sem Data Warehouse) EIS área 2 EIS área 1 Relatórios simples Relatórios complexos Planilhas

Extração de Informações (sem Data Warehouse) Inconsistência das informações Dificuldade para atender a novas necessidades Descrédito

Extração de Informações (com Data Warehouse) Relatórios legais e relatórios operacionais Relatórios simples complexos EIS2 EIS1

Extração de Informações (com Data Warehouse) Maturidade da tecnologia Diferenciais: metodologia e ferramentas

Definição I “ É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão ” [ Inmon ]

Definição II “ É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão ” [Harjinder ]

Definição III “ É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final de acessar informações que estão distribuídas em vários sistemas da organização ” [Barquini]

Resumo Data Warehouse Fonte interna Dados atuais históricos Extração externos Fonte externa Extração e Transformação Diretório de Informação (Metadado) Análise e Acesso Consultas Relatórios OLAP Data Mining Data Warehouse Informações sobre os dados Disponíveis no DW

Batch OLTP (OnLine Transaction Processing) OLAP (OnLine Analytical Processing)

OLTP x OLAP Captação de dados Fazendo a roda dos negócios girar OLTP Extração, limpeza e transformação Vendo a roda dos negócios girar Data Warehouse (com OLAP) “Exploração” dos dados

Dados operacionais vs. Data Warehouse

Dados operacionais vs. Data Warehouse

Gestão de Redes de Postos Modelo Dimensional Gestão de Redes de Postos Venda Dimensão Posto Dimensão Produto Empresa DataVenda Posto CodPosto CodEmpresa CodProduto Produto FamiliaDeProduto CodPosto CGC ValorVenda DimensaoProduto CodEmpresa RazaoSocial QtdeVendida CodProduto CodFamiliaProduto MatFuncSupervisor CodFamiliaProduto DescFamiliaProduto NomeFantasia CGC DimensaoPosto DescProduto PertenceAFamilia Possui Nome 1+ Supervisor Dimensão Tempo MatrFuncSupervisor NomeFunc Supervisiona Dimensão Tempo Dia Semana Mes DataVenda CodSemana CodMes CodSemana DivideSeEm CodMes DivideSeEm CodTrimestre CodMes DescSemana DescMes DivideSeEm Semestre Ano Trimestre CodSemestre CodAno DivideSeEm CodAno CodTrimestre DivideSeEm DescSemestre CodSemestre DescTrimestre

Modelo E/R x Modelo Dimensional O modelo E/R é: * Voltado para performance da captação de dados * Mais difícil de visualizar * Mais difícil de navegar (várias alternativas, caminhos longos, etc.) O modelo dimensional é: * Voltado para flexibilidade e para performance da extração de informações * Mais simples * Mais sintonizado com o negócio

Definição “Data Warehouse é uma coleção de dados : - dividida por assuntos - integrada - não volátil - que varia com o tempo que suporta decisões gerenciais” William H. Inmon

Orientação por assunto Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse das pessoas que irão utilizá-lo. Exemplo: Uma empresa pode trabalhar com vendas de produtos alimentícios no varejo e o seu maior interesse ser o perfil de seus compradores, então o DW será voltado para as pessoas que compram seus produtos e não para os produtos que ela vende.

Integração (b) (a) Aplicação A Aplicação B Aplicação B Aplicação C Valor atual, 2 anos Valor atual, 3 meses Valor atual, 1 ano Incompatibilidade: mesmo elemento, nomes diferentes Incoerência: diferentes elementos, mesmo nome Valor atual, 6 meses

Integração de dados OPERACIONAL DATA WAREHOUSE Aplicação A: m,f Aplicação B: 1,0 Aplicação C: masculino, feminino sexo: m, f Aplicação A: caminho - centímetros Aplicação B: caminho - pés Aplicação C: caminho - jardas caminho: centímetros Aplicação A: descrição Aplicação B: descrição Aplicação C: descrição ? descrição Aplicação A: chave char(10) Aplicação B: chave dec fixed(9,2) Aplicação C: chave char(12) Chave char(12)

Integração de dados OPERACIONAL DATA WAREHOUSE Plano de Saúde - Maria Silva - Feminino - 01/12/68 - Maria Silva - Feminino - Nascida em 01/12/68 - Duas internações em 2000 - Equipe médica - Duração média das internações - Exames requeridos - Resultados dos exames - Casada - 2 filhos Clínica - Maria Silva - Duas internações em 2000 - Equipe médica - Duração média das internações Laboratório de Exames - Maria Silva - Exames requeridos - Resultados

DW varia conforme o tempo Operacional 30-90 dias Não tem históricos Atualizado em tempo real Data Warehouse 5 -10 anos Histórico completo Critérios específicos definem como a carga se fará

DW é não-volátil Operacional Atualizável Normalizado Voltado para perfomance Data Warehouse “Read Only” Não normalizado Voltado para facilitar extração

Não volatilidade OPERACIONAL DATA WAREHOUSE incluir alterar acessar excluir carregar acessar

Localização Formas de armazenamento: Dados altamente resumidos único local (centralizado) por área de interesse (distribuído) por nível de detalhes Dados altamente resumidos Dados levemente resumidos Dados detalhados atuais Dados detalhados antigos

Credibilidade dos dados Mais importante para o sucesso de qualquer projeto Discrepâncias simples de todo tipo podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas Dados não dignos de confiança podem resultar em relatórios inúteis, que não tem importância alguma por exemplo, uma lista de pacientes do sexo masculino e grávidos.

Granularidade Baixa Alta é possível responder a praticamente qualquer consulta porém grande quantidade de recursos computacionais é necessária para responder perguntas específicas Alta ocorre uma significativa redução da possibilidade de utilização dos dados para atender consultas detalhadas porém reduz-se muito o espaço em disco e o número de índices necessários

Exemplo de níveis de granularidade Baixa Alta Prod. Data Qtd. Valor A1 13/9/00 10 100,00 B1 14/9/00 15 150,00 A1 16/9/00 20 200,00 A1 16/9/00 90 890,00 mês/ano Prod. Qtd. Valor 09/00 A1 120 1190,00 09/00 B1 15 150,00

Dimensões & Fatos Fatos “Medidas sobre o negócio” “Objeto de curiosidade do usuário” “Aquilo que é o foco de atenção do usuário” Ex.: Células de uma planilha eletrônica Dimensões “Pontos de vista por meio dos quais os fatos poderiam ser analisados” “Perspectivas” Ex.: Cabeçalhos (linhas ou colunas) de uma planilha

SnowFlake Schema Dimensão Produto Família Id-Família Grupo Ds-Família Id-Grupo Id-Família Ds-Grupo Item Id-Item Id-Grupo Ds-Item Venda Dimensão Produto Id-Item Id-...

Star Schema Dimensão Produto Dimensão Tempo Chave produto Nome produto Id item Id grupo Id família Nível agregação Chave tempo Nome tempo Dia Mês Ano Nível Agregação Venda Chave tempo Chave local Chave produto Chave cliente Valor Quantidade Custo Conhecido como STAR SCHEMA, STAR-JOIN SCHEMA, DATA CUBE, DATA LIST, GRID FILE e MULTIDIMENSIONAL SCHEMA. .Modelagem dimensional é um processo de análise TOP-DOWN, onde se parte da análise dos principais processos de negócio que atuam como fonte para as tabelas do tipo fato. Esses fatos são numéricos, ou melhor, quantificáveis.. (ex.: vendas, remessa de produtos, etc.) No centro encontra-se a tabela representando o fato que expressa medidas de negócio tomadas a partir da interseção das dimensões. As dimensões representam pessoas, lugares e coisas que estão diretamente relacionads com a transação ou o fato. Através dos ponteiros para as tabelas das dimensões é possível identificar o que, quem, o quando e o onde . O modelo dimensional deve conter o nome das coisas que são prontamente reconhecidas por qualquer um dos envolvidos naquela atividade Dimensão Localização Dimensão Cliente Chave local Descricao local Id Região Id País Nível Agregação Chave cliente Nome cliente

Ferramentas OLAP “O que é importante” (Exception Reporting) “Detalhes” (Drill Down) “Agregações” (Drill Up) “Muda o ponto de vista” (Drill Across) “Melhores e piores” (Ranking) “Comparar com períodos anteriores” (Análise Comparativa)

Data Warehouse é ... “Um meio de prover no tempo apropriado informações completas e corretas, em um formato compreensível, para a eficaz tomada de decisões ... ... em todos os níveis: estratégico, tático e operacional”

Data Warehouses x Data Marts

Data Mart Um Data Mart é um subconjunto de dados do Data Warehouse destinado a suportar as necessidades específicas de uma determinada unidade de negócios. Data warehousing is really addressing key market issues. The integration of data from a variety of operational systems with a historical perspective, the elimination of the impact on production systems by having a separate database, and allowing the move to cost effective open systems. The ability to provide quality data through the “scrubbing” or transformation of data as it’s moved into the data warehouse. Inconsistent formats are made consistent, such as date formats or code fields e.g. female/male may be F, M or 1, 2 in different operational systems. And lastly, shops can avoid mainframe upgrades or simply take advantage of cost-effective open systems platforms for decision support/data warehouse applications.

Data Warehouse em uma empresa Produção Vendas Data Marts RH Marketing etc.

Data Warehouse em um orgão do Governo Federal (ex.: Receita Federal) Comércio Exterior Arrecadação Data Marts etc. Dívida Ativa

O Data Warehouse de um orgão do Governo Federal não está sozinho ... Data Warehouse do Governo Federal Agricultura Receita Federal Data Marts Banco Central MARE etc.

Extração, limpeza e transformação Componentes de um DW ? Fontes Externas Aplicações não estruturadas Extração, limpeza e transformação BD operacional Transporte Carga Data Warehouse Query &Reporting OLAP EIS Data Mining

Classes de ferramentas Extração, Limpeza e Transformação Banco de Dados Acesso Administração (Modelos/Metadados)

Como se constrói o Data Warehouse?

Qual é o enfoque? Implantar o Data Warehouse ou implantar Data Marts? Ambos: Constrói-se o Data Warehouse por meio da implantação de sucessivos Data Marts 1) Planeja-se o todo (o Data Warehouse) 2) Implementa-se em partes (os Data Marts) que vão se somando

Plano de implementação Construindo o Data Warehouse Produtos de Data Warehouse Conhecimento do negócio Conhecimento da metodologia Plano de implementação Incremento 1 2 n . . .

Os grandes passos da metodologia Definição da Arquitetura do DW Entendimento das necessidades da empresa Seleção do hardware, software e ferramentas Definição dos incrementos do DW Implementação dos incrementos Modelagem Construção das aplicações Criação do DW Operação, ajustes e suporte

Justificativa para Data Warehouses “A justificativa para Data Warehouses é simples: Eles ajudam a converter dados em ferramentas competitivas.” In addition, the need for a data warehouse is simple: they turn data into information for a competitive advantage. Your competition is doing it! This is a significant reason why many companies have not openly discussed their data warehouse implementations. — Computerworld

Componentes do Data Warehouse DWH admin. & automação Extração, Limpeza & transformação Transporte Metodologia Carga & atualização incremental Data Mining Explicar os grupos .... E é por causa deste quebra-cabeça que eu montei essa agenda ... Query & Reporting Análise multidimensional (OLAP) RDBMS

O PRESENTE E O FUTURO É A INFORMAÇÃO

Conclusão A implementação do Data Warehouse em um ambiente permite um melhor gerenciamento das informações visando a utilização inteligente dos recursos para realizar as atividades que são de sua responsabilidade, oferecendo confiabilidade, transparência, agilidade e segurança.

Obrigado Camilo.mussi@anvisa.gov.br (61) 448-1129