Por favor ajustem seus celulares para o modo silencioso. http://www.stepfordwives.com/html/wallpapers/wp_7_1024.html

Data Warehouse (DW) Rogério Ribeiro Moura

Agenda Mini-Curriculum Em um Futuro Próximo... Definição DW Visão Global DW Sistemas Transacionais x Analíticos Modelo Star-Schema Cubo Fluxo de Informações Data Mining Business Information Warehouse (BW) Visão Global da Metodologia ASAP Bibliografia

Mini-Curriculum Pós-Graduação (Lato - Sensu): Graduação: ESCOLARIDADE: Pós-Graduação (Lato - Sensu): Fundação Getulio Vargas - FGV (2001 - 2003) - MBA em Tecnologia da Informação Aplicada à Gestão Estratégica de Negócios Pontifícia Universidade Católica - PUC-Rio (1998 - 1999) - Análise, Projeto e Gerência de Sistemas Graduação: Centro Universitário Carioca (2004) - Bacharel em Ciência da Computação Centro Universitário Carioca (1994 - 1997) Tecnólogo em Processamento de Dados EXPERIÊNCIA PROFISSIONAl: PETROBRAS – Petróleo Brasileiro S/A Analista de Sistemas – 4 anos e 5 meses EMBRATEL – CPQD (Centro de Pesquisa e Desenvolvimento em Telecomunicações). Analista de Sistemas – 1 ano e 4 meses Medusa Sistema de Automação Industrial Analista de Sistemas Trainee – 8 meses Task Sistemas de Computação Ltda. Analista de Sistemas Trainee – 1 ano Sobremetal Recuperação de Metais Ltda. Estagiário de Informática - 1 ano

Em um Futuro Próximo... Obrigado! Source: The Computer World, July 2000

Em um Futuro Próximo... Mas Por Quê ? Mas antes vou levantar as doações que ele fez aos outros e compara-las com as que estou recebendo. Vou enviar ao seu contador o formulário de dedução de impostos. Oba! O banqueiro deve estar de bom humor. A doação foi bem maior do que a dos últimos meses. Vou verificar o histórico de doações do banqueiro … Ele está doando mais aos pedintes da próxima esquina !!!!!!!!! Mas Por Quê ? O que eu estou fazendo errado? Serão as minhas roupas? Não estou sendo gentil o suficiente? Meu serviço de Inteligência não está me enviando as informações que eu necessito, no tempo correto, para maximizar as doações recebidas. Bussiness Intelligence / Data Warehousing – Uma grande mudança cultural com requisitos técnicos extremamente complexos.

Definição DW Data Warehouse (DW) é um banco de dados que armazena informações corporativas de diferentes fontes de dados,estruturado para realizar consultas analíticas complexas, adequado à análise de negócios e ao apoio à tomada de decisões gerenciais. “Conjunto de dados orientados para o assunto, integrado, não volátil, variante no tempo, de apoio a decisões gerenciais.” Bill Inmon

Estruturado por objetivos (áreas de negócio da companhia) Visão Global DW Data Mart Data Warehouse Data Mart Data Mart Estruturado por objetivos (áreas de negócio da companhia) Sistemas Operativos (R3 e Legados)

Visão Bill Inmon crm scm SEM (ETL) R/3 (ERP) Data Mining (data mining) BW 2.1C SP9 (data mining) Corporate Information Factory Aplicações Analíticas (DSS applications) crm SEM bic bps bcs cpm srm scm Data Warehouse PSA (persistent staging area) Staging Engine (ETL) Data Marts SD MM CO ODS

Visão Bill Inmon Data Warehouse para Inmon é apenas um “tabelão” uma flat-table, que pode ser implementada utilizando uma modelagem genérica. A modelagem deste Data Warehouse não tem como objetivo atender à análise, mas somente a retenção das informações para serem extraídas pelos Data Marts, onde a análise ocorre.

Visão Ralph Kimball

Visão Ralph Kimball Data Warehouse para Kimball é toda a arquitetura e não somente o “tabelão”. Para Kimball, Data Warehouse é a união dos Data Marts. O Data Warehouse é modelado com o objetivo de atender à análise multidimensional.

Sistemas Transacionais x Analíticos OLTP (ERP) OnLine Transaction Processing OLAP (DW) OnLine Analytical Processing Foco: análise Dados sumarizados Dados históricos Dados fixos a nível temporal Estruturado para pesquisa e análise Orientado para consulta 2 a 7 anos de dados Foco: transacional Dados detalhados Dados correntes Dados dinâmicos Altamente normalizado para performance Atualização/Inserção/Deleção 1 mês a 1 ano de dados

Sistemas Transacionais x Analíticos MER - Modelagem Entidade / Relacionamento Modelagem Star-Schema Valor Liquido Qtd. Liquida Valor Bruto Qtd. Bruta ID Tempo ID Cliente ID Empresa ID Vendedor ID Produto Data Ano/Mes Ano Fiscal Nome Região Estado Grupo Unid. Negoc. Supervisor Area Descrição Subgrupo Orientado para otimizar Insert/Update/Delete Informação espalhada Vários caminhos para obter a mesma informação

Dimensões: definem o COMO o usuário quer analisar a informação Modelo Star-Schema Modelagem Star-Schema Conceitos: Dimensões: definem o COMO o usuário quer analisar a informação ID Tempo Data Ano/Mes Ano Fiscal ID Cliente Nome Região Estado ID Empresa ID Tempo ID Cliente ID Empresa ID Vendedor ID Produto Nome Grupo Unid. Negoc. Valor Liquido Qtd. Liquida Valor Bruto Qtd. Bruta ID Vendedor ID Produto Nome Supervisor Area Descrição Grupo Subgrupo

- Atributos: definem de que modo as dimensões podem ser analisadas Modelo Star-Schema Modelagem Star-Schema Conceitos: - Atributos: definem de que modo as dimensões podem ser analisadas ID Tempo Data Ano/Mes Ano Fiscal ID Cliente Nome Região Estado ID Empresa ID Tempo ID Cliente ID Empresa ID Vendedor ID Produto Nome Grupo Unid. Negoc. Valor Liquido Qtd. Liquida Valor Bruto Qtd. Bruta ID Vendedor ID Produto Nome Supervisor Area Descrição Grupo Subgrupo

Key Figures: definem O QUÊ o usuário quer analisar Modelo Star-Schema Conceitos: Key Figures: definem O QUÊ o usuário quer analisar Modelagem Star-Schema ID Tempo Data Ano/Mes Ano Fiscal ID Cliente Nome Região Estado ID Empresa ID Tempo ID Cliente ID Empresa ID Vendedor ID Produto Nome Grupo Unid. Negoc. Valor Liquido Qtd. Liquida Valor Bruto Qtd. Bruta ID Vendedor ID Produto Nome Supervisor Area Descrição Grupo Subgrupo

O cubo é virtualmente produzido através da modelagem Star-Schema Valor Liquido Qtd. Liquida Valor Bruto Qtd. Bruta ID Tempo ID Cliente ID Empresa ID Vendedor ID Produto Data Ano/Mes Ano Fiscal Nome Região Estado Grupo Unid. Negoc. Supervisor Area Descrição Subgrupo

Cubo Tempo Produtos Clientes 1998 1999 2000 Produto X Produto Y Produto Z Cliente A Cliente B Cliente C Clientes

Cubo Tempo Produtos Query: Vendas do Cliente C no ano 2000 Clientes Cliente A Cliente B Cliente C Produto X Produto Y Produto Z 1998 1999 2000 Cubo Query: Vendas do Cliente C no ano 2000

Cubo Tempo Produtos Query: Vendas do Cliente B desde 1998 Clientes Cliente A Cliente B Cliente C Produto X Produto Y Produto Z 1998 1999 2000 Cubo Query: Vendas do Cliente B desde 1998

Cubo Tempo Query: Produtos Curva ABC de Clientes do produto Y Cliente A Cliente B Cliente C Produto X Produto Y Produto Z 1998 1999 2000 Cubo Query: Curva ABC de Clientes do produto Y dos anos 2000 e 1998

Cubo Tempo Produtos Query: Vendas de toda empresa desde 1998 Clientes Cliente A Cliente B Cliente C Produto X Produto Y Produto Z 1998 1999 2000 Cubo Query: Vendas de toda empresa desde 1998

Fluxo de Informações OLTP OLAP Infocubos Externo Processamento da - - - - - - - - Processamento da Transação OLTP Transformação OLAP Infocubos Externo Extração Análise Ação

Definição Data Mining É o processo de se descobrir conhecimento embutido em um determinado banco de dados. Na realidade data mining é um conjunto de técnicas que envolvem métodos matemáticos, algoritmos e heurísticas para descobrir padrões e regularidades em grandes conjuntos de dados. Estas técnicas permitem buscar em uma grande base de dados, informações que, aparentemente, estão camufladas ou escondidas, permitindo, com isso, agilidade nas tomadas de decisões.

Business Information Warehouse (BW) O BW é o software de data warehouse da empresa SAP, cujo ambiente específico, separado do ambiente transacional, armazena informações que são estruturadas para facilitar a consulta e análise, suportando assim o processo decisório e a gestão da empresa.

Materiais, Equipamentos Base de Dados Integrada Estrutura SAP/R3 BW Vendas e Distribuição Finanças Materiais, Equipamentos e Serviços SD FI Controladoria MM Gestão de Produção CO PP SAP R/3 AM Ativo Fixo Base de Dados Integrada Gestão da Qualidade QM PS Gestão de Projetos PM WF HR IS Gestão de Manutenção Workflow Soluções para Indústrias Recursos Humanos

Arquitetura do BW BW Regras de Transferência Sistemas Fonte R/3 Sistemas Externos Obtem dados de Sistemas R/3 e não R/3. BW SD FI CLIP BDEMQ Excel Web Sistemas Fonte Regras de Transferência

Arquitetura do BW Dados Data Warehouse 生データ ALERTA Análise Exceções R/3 e Legados Data Warehouse para tomada de decisoes e desenvolvimento de novos negocios Data Mart estruturado por objetivos ALERTA Relatorio / Analise / Descobrimento Análise Exceções Data Mining

Estrutura de Acesso Query View Query InfoCube Business Explorer OLAP server Database OLAP Processor InfoCube Sistemas Fontes stores ... Microsoft Excel Business Explorer Analyzer shows ... Query View Intranet

Benefícios Padroniza ferramentas de acesso e representação de informações corporativas Fácil uso, ponto único de acesso a todas as informações corporativas Self-service, relatórios gerenciais e análises em todos os níveis Ambiente de alta performance alimentado por fontes de dados heterogêneas Libera a carga sobre os sistemas transacionais

Visão Global da Metodologia ASAP Mover de um ambiente de pré-produção para uma operação em produção. Prover uma preparação e um planejamento inicial para o projeto SAP BW. Os passos nesta fase inicial auxiliam na identificação e planejamento das áreas de negócio a serem consideradas, permitindo a compreensão dos objetivos, escopo e prioridades. Implementar a solução de Business Information Warehouse baseado nas necessidades levantadas na fase anterior de Business Blueprint. Os objetivos são a implementação final do sistema, o teste global e a liberação do ambiente para produção. Prover uma verificação final da situação de todos os produtos gerados. Inclui a conclusão do treinamento do usuário e o estabelecimento de um Help Desk interno. Criar o Desenho do modelo conceitual, modelo lógico e modelo físico, que se trata de uma documentação detalhada dos resultados obtidos durante a realização dos Workshops de requerimentos dos usuários. Início do Projeto Revisão de Performance Durante Preparação Final Revisão da Configuração Durante Ciclo de Configuração Revisão do Desenho Após Desenho Dados Fim da Fase 1 Revisão dos Conceitos Evolução Contínua Evolução Contínua Preparação do Projeto Preparação do Projeto Preparação do Projeto Preparação Final Preparação Final Preparação Final Go Live & Suporte Go Live & Suporte Go Live & Suporte Business Blueprint (Desenho) Business Blueprint (Desenho) Business Blueprint (Desenho) Realização Realização Realização

Ciclo Típico de um Projeto Contínua Evolução do Ambiente de Informação de Negócio Ciclo de Implementação 3 Ciclo de Implementação 2 Ciclo de Implementação 1 5 4 1 2 3

Organização de um Projeto Equipe BW Power Users Analistas funcionais do OLTP Suporte Técnico Analistas Técnicos Data Architect BW Coordenador Projeto Comitê de Validação Comitê Executivo Patrocinador Projeto BW Coordenador Tecnologia Sistema Fonte

Exemplo

Exemplo

Exemplo

Exemplo

Exemplo

Exemplo

Exemplo

Bibliografia Livros The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling, 2nd Edition – Ralph Kimball e Margy Ross Como Construir o Data Warehouse, Campus – Bill Inomn Oracle 8i Data Warehouse – Michel Corey Sistemas de Informação e as Decisões Gerenciais na era da Internet – James O`Brain Sites http://www.datawarehousing.org http://www.sap.com/ Intelligent Enterprise Magazine - http://www.intelligententerprise.com

PERGUNTAS E COMENTÁRIOS RORIMO@UOL.COM.BR PERGUNTAS E COMENTÁRIOS

Perguntas OBRIGADO!