A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson.

Apresentações semelhantes


Apresentação em tema: "CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson."— Transcrição da apresentação:

1 CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas Wagner Correa Ramos Anderson Massaharu Shibata

2 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Roteiro  Apresentação da empresa do “CASE”  Requisitos do projeto de BI  Origem dos dados  Modelo de dados do BI  Escolha do SGBD (PostgreSQL)  Tecnologia para a integração dos dados  Tecnologias usadas  Resultados  Futuro PGDay Campinas 2014

3 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Requisitos do projeto de BI  Aumentar velocidade da informação para a prevenção de problemas  Disponibilidade destas informações dentro e fora da empresa  Foco em qualidade dos dados  Usabilidade  Dados para futuras pesquisas PGDay Campinas 2014

4 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Origem dos dados  Cadastros (ERP)  Vendas PDV (MySQL) ERP (PostgreSQL)  Compras (ERP)  Despesas (ERP)  Metas (Excel) Vendas, Compras, Despesas  RH (WS) PGDay Campinas 2014

5 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Primeira tentativa Compras e Vendas: Tabela única com totais por loja, mercadoria, ano, mes, dia e hora Problema de desempenho nas consultas e na qualidade dos dados PGDay Campinas 2014

6 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI PGDay Campinas 2014

7 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Segunda tentativa Compras e Vendas, ainda juntos mas com 3 tabelas (hora/dia/mês) Melhor desempenho nas consultas Ainda problemas na qualidade dos dados PGDay Campinas 2014

8 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Terceira tentativa Nas 2 tentativas iniciais faziamos a totalização durante a replicação dos dados dos PDVs para o BI Na terceira criamos no BI as tabelas de cupons e itens de cupons de venda Simplificação das transformações necessárias nos dados entre PDVs e BI Qualidade dos dados 100% PGDay Campinas 2014

9 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Modelo desnormalizado x normalizado Desempenho de consultas Facilidade de consultas Manutenção do correto histórico dos dados em consultas retroativas Problema do reaproveitamento de “IDs” PGDay Campinas 2014

10 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Tabelas: 63 – Views: 4  Volume atual de dados (6/set/14) mercadoria: cupom: (jan/14) cupom_item: (jan/14) mercadoria_hora: (mai/12) mercadoria_dia: (nov/12) mercadoria_mes: (nov/12) mercadoria_estoque: (mai/12) PGDay Campinas 2014

11 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Fatores para decisão Ferramentas existentes para BI Custo Facilidade de uso Equipe existente Evolução  Gerenciadores considerados Oracle MS SQLServer PostgreSQL MySQL PGDay Campinas 2014

12 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  2012 a 2013 – Oracle e PostgreSQL  2014 – MySQL e PostgreSQL  Atual - PostgreSQL PGDay Campinas 2014

13 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Algum receio em usar um software open source como o PostgreSQL ? NÃO A rede Shibata usa o PostgreSQL open source desde 2004 sem NUNCA parar por algum motivo de bug, etc, no software.  Alguma motivação para uso de versão comercial do PostgreSQL ? NÃO Para ficar novamente dependente de uma única empresa ? Melhor opção contratar suporte de empresa nacional especializada no PostgreSQL open source. PGDay Campinas 2014

14 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL  100% de satisfação  Uso de recursos avançados Triggers e funções executando com excelente desempenho complexas regras de negócio Regras de negócio que se implementadas em linguagem de programação ficariam inviáveis devido ao baixo desempenho PGDay Campinas 2014

15 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014

16 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014

17 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014

18 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014

19 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  O principal requisito para o projeto de BI foi e continua sendo a alta velocidade na obtenção de informações consolidadas  Escolhemos então uma ferramenta para garantir a consolidação “near-real-time”  Outro requisito importante é a disponibilidade das informações dentro e fora da empresa PGDay Campinas 2014

20 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  A rede Shibata utiliza o software replicador OBJECTMMRS com objetivo de descentralização  No projeto BI o objetivo é praticamente o contrário, queremos a consolidação dos dados em um único servidor central PGDay Campinas 2014

21 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  Motivos que levaram à escolha novamente do OBJECTMMRS Compatível com outros SGBDs (Oracle, SQLServer, MySQL, etc) Flexibilidade. Pode-se desenvolver classes java para realização de transformações de dados Qualidade dos dados PGDay Campinas 2014

22 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014

23 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014

24 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014

25 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014

26 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014

27 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologias usadas  Banco de dados: PostgreSQL 8.x e 9.x  Replicação e integração: OBJECTMMRS 6.x e 7.x  Interface Web do BI: PHP 5.4, Apache 2.2, HTML5  Webservices BI: Java, Jetty, Restlet  Desenvolvimento Mobile: Phonegap 3.5 PGDay Campinas 2014

28 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados  Totais de vendas acumulados e disponíveis para consultas “near-real- time”  Informações sobre compras também disponíveis “near-real-time”  BI além de mostrar resultados ajuda na prevenção de problemas (ruptura)  Informação disponível dentro e fora da empresa (online e/ou offline) PGDay Campinas 2014

29 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

30 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

31 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

32 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

33 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

34 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014

35 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Futuro  O volume de dados sendo armazenado no banco BI é gigantesco. A cada ano mais de 100 milhões de novas linhas.  Cluster de Pg x Big Data  Data mining  Ferramenta para consultas/gráficos “ad- hoc” PGDay Campinas 2014

36 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PGDAY Campinas 2014  Questões / Comentários  Obrigado a todos pela presença  Parabéns à Dextra pela organização do evento  Contato  Principais projetos de replicação com OBJECTMMRS TJAM, PRODAM, Exército Brasileiro, Shibata PGDay Campinas 2014


Carregar ppt "CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson."

Apresentações semelhantes


Anúncios Google