CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson.

Apresentação em tema: "CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson."— Transcrição da apresentação:

1 CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br1 Wagner Correa Ramos Anderson Massaharu Shibata

2 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Roteiro  Apresentação da empresa do “CASE”  Requisitos do projeto de BI  Origem dos dados  Modelo de dados do BI  Escolha do SGBD (PostgreSQL)  Tecnologia para a integração dos dados  Tecnologias usadas  Resultados  Futuro PGDay Campinas 2014 www.object.com.br2

3 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Requisitos do projeto de BI  Aumentar velocidade da informação para a prevenção de problemas  Disponibilidade destas informações dentro e fora da empresa  Foco em qualidade dos dados  Usabilidade  Dados para futuras pesquisas PGDay Campinas 2014 www.object.com.br3

4 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Origem dos dados  Cadastros (ERP)  Vendas PDV (MySQL) ERP (PostgreSQL)  Compras (ERP)  Despesas (ERP)  Metas (Excel) Vendas, Compras, Despesas  RH (WS) PGDay Campinas 2014 www.object.com.br4

5 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Primeira tentativa Compras e Vendas: Tabela única com totais por loja, mercadoria, ano, mes, dia e hora Problema de desempenho nas consultas e na qualidade dos dados PGDay Campinas 2014 www.object.com.br5

6 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI PGDay Campinas 2014 www.object.com.br6

7 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Segunda tentativa Compras e Vendas, ainda juntos mas com 3 tabelas (hora/dia/mês) Melhor desempenho nas consultas Ainda problemas na qualidade dos dados PGDay Campinas 2014 www.object.com.br7

8 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Terceira tentativa Nas 2 tentativas iniciais faziamos a totalização durante a replicação dos dados dos PDVs para o BI Na terceira criamos no BI as tabelas de cupons e itens de cupons de venda Simplificação das transformações necessárias nos dados entre PDVs e BI Qualidade dos dados 100% PGDay Campinas 2014 www.object.com.br8

9 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Modelo desnormalizado x normalizado Desempenho de consultas Facilidade de consultas Manutenção do correto histórico dos dados em consultas retroativas Problema do reaproveitamento de “IDs” PGDay Campinas 2014 www.object.com.br9

10 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Tabelas: 63 – Views: 4  Volume atual de dados (6/set/14) mercadoria: 439.033 cupom: 9.279.743 (jan/14) cupom_item: 33.713.982 (jan/14) mercadoria_hora: 153.891.136 (mai/12) mercadoria_dia: 58.523.056 (nov/12) mercadoria_mes: 9.338.419 (nov/12) mercadoria_estoque: 6.452.036 (mai/12) PGDay Campinas 2014 www.object.com.br10

11 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Fatores para decisão Ferramentas existentes para BI Custo Facilidade de uso Equipe existente Evolução  Gerenciadores considerados Oracle MS SQLServer PostgreSQL MySQL PGDay Campinas 2014 www.object.com.br11

12 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  2012 a 2013 – Oracle e PostgreSQL  2014 – MySQL e PostgreSQL  Atual - PostgreSQL PGDay Campinas 2014 www.object.com.br12

13 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Algum receio em usar um software open source como o PostgreSQL ? NÃO A rede Shibata usa o PostgreSQL open source desde 2004 sem NUNCA parar por algum motivo de bug, etc, no software.  Alguma motivação para uso de versão comercial do PostgreSQL ? NÃO Para ficar novamente dependente de uma única empresa ? Melhor opção contratar suporte de empresa nacional especializada no PostgreSQL open source. PGDay Campinas 2014 www.object.com.br13

14 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL  100% de satisfação  Uso de recursos avançados Triggers e funções executando com excelente desempenho complexas regras de negócio Regras de negócio que se implementadas em linguagem de programação ficariam inviáveis devido ao baixo desempenho PGDay Campinas 2014 www.object.com.br14

15 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br15

16 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br16

17 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br17

18 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br18

19 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  O principal requisito para o projeto de BI foi e continua sendo a alta velocidade na obtenção de informações consolidadas  Escolhemos então uma ferramenta para garantir a consolidação “near-real-time”  Outro requisito importante é a disponibilidade das informações dentro e fora da empresa PGDay Campinas 2014 www.object.com.br19

20 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  A rede Shibata utiliza o software replicador OBJECTMMRS com objetivo de descentralização  No projeto BI o objetivo é praticamente o contrário, queremos a consolidação dos dados em um único servidor central PGDay Campinas 2014 www.object.com.br20

21 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  Motivos que levaram à escolha novamente do OBJECTMMRS Compatível com outros SGBDs (Oracle, SQLServer, MySQL, etc) Flexibilidade. Pode-se desenvolver classes java para realização de transformações de dados Qualidade dos dados PGDay Campinas 2014 www.object.com.br21

22 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014 www.object.com.br22

23 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014 www.object.com.br23

24 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br24

25 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br25

26 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br26

27 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologias usadas  Banco de dados: PostgreSQL 8.x e 9.x  Replicação e integração: OBJECTMMRS 6.x e 7.x  Interface Web do BI: PHP 5.4, Apache 2.2, HTML5  Webservices BI: Java, Jetty, Restlet  Desenvolvimento Mobile: Phonegap 3.5 PGDay Campinas 2014 www.object.com.br27

28 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados  Totais de vendas acumulados e disponíveis para consultas “near-real- time”  Informações sobre compras também disponíveis “near-real-time”  BI além de mostrar resultados ajuda na prevenção de problemas (ruptura)  Informação disponível dentro e fora da empresa (online e/ou offline) PGDay Campinas 2014 www.object.com.br28

29 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br29

30 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br30

31 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br31

32 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br32

33 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br33

34 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br34

35 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Futuro  O volume de dados sendo armazenado no banco BI é gigantesco. A cada ano mais de 100 milhões de novas linhas.  Cluster de Pg x Big Data  Data mining  Ferramenta para consultas/gráficos “ad- hoc” PGDay Campinas 2014 www.object.com.br35

36 CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PGDAY Campinas 2014  Questões / Comentários  Obrigado a todos pela presença  Parabéns à Dextra pela organização do evento  Contato contato@object.com.br www.object.com.br  Principais projetos de replicação com OBJECTMMRS TJAM, PRODAM, Exército Brasileiro, Shibata PGDay Campinas 2014 www.object.com.br36