Arquitetura. Arquitetura 4Insights 4Insights Data Modeler 4Insights Data Upload 4Insights Data Loader Data Warehouse InfiniDB; RedShift; Oracle Hexadata;

Apresentação em tema: "Arquitetura. Arquitetura 4Insights 4Insights Data Modeler 4Insights Data Upload 4Insights Data Loader Data Warehouse InfiniDB; RedShift; Oracle Hexadata;"— Transcrição da apresentação:

1 Arquitetura

2

3 Arquitetura 4Insights 4Insights Data Modeler 4Insights Data Upload 4Insights Data Loader Data Warehouse InfiniDB; RedShift; Oracle Hexadata; Teradata; DB2 Blue 4Insights Data Control Kettle - PDI Metadados Pentaho Front-End

4 4Insights Data Modeler Modelagem Multidimensional Desenho das dimensões Desenho das tabelas de Fatos Definição das agregadas Definição das consolidadas Definição das fotografias Definição dos relacionamentos Definição das estruturas de dados Definição das regras de transformação Definição das regras de atualização dos dados Definição das chaves das tabelas Definição das descrições das dimensões Definição das Lookups Controle de Versão Definição dos usuários e grupos de acesso Definição da camada semântica Definição dos tipos de dados Definição das chaves de refresh Definição das funções de agregação Modelos pré-definidos Importação de novos modelos já existentes

5 4Insights Data Upload Interface Visual Integrado com o 4Insights Data Modeler Visualização das interfaces Validação das estrutura definida no Data Modeler Facilita a construção das interfaces Valida as estruturas das interfaces Criptografa as interfaces Compacta as interfaces Transfere as interfaces Console (linha de comando) Automatização do fluxo de transferência dos dados Validação das estrutura definida no Data Modeler Criptografa as interfaces Compacta as interfaces Transferência das informações

6 4Insights Data Loader Algoritmo que converte o modelo definido no Data Modeler em programas que realizam a carga dos dados Motor de sincronização e atualização dos dados Carga histórica Carga eventual Limpeza dos históricos Criação e manutenção do modelo de dados físico no banco de dados Criação da camada de Data Quality Criação da camada de Working Carga das dimensões (modelo Star Schema ou Snowflaque) Carga das tabelas de fatos Carga das tabelas agregadas Carga das tabelas consolidadas Fotografia das tabelas não agregáveis (exemplo estoque) Validação da integridade referencial e recarga dos dados revalidados durante a carga Validação das chaves primárias e únicas Validação de valores de checagem Validação de nulidade de valores

7 4Insights Data Control Motor para automatização das cargas (Scheduler) Controle de dependências Geração de Logs Histórico dos tempos de carga Controle de falhas Envio de mensagens Integração com Big Data Hadoop, Spark e Sqoop Observação: Ferramenta desenvolvida em System Manager sendo convertida para Java

8 Repositório DataWarehouse Compatível com bancos de dados colunares Proporciona maior performance Compatibilidade e integração com Big Data Hadoop, Spark e Sqoop Bancos Compatíveis: InfiniDB (MySql); RedShift*; Oracle Hexadata*; Teradata*; DB2 Blue* Repositório do metadados Compatível com bancos de dados relacionais que possuem JDBC Mysql, Oracle, Sql-Server, DB2 e outros Os repositórios podem ser Proprietários ou Open Source *em testes

9 Kettle – PDI (Pluging 4Insights) * Integrado a Ferramenta de Extração e transformação dos dados Utilizado para realizar as extrações de dados de forma ágil e garante que as integrações são geradas no formato/padrão necessário Conecta em diferentes bases de dados, arquivos, interfaces, XML, HTTP, HDFS, Spark, Sqoop Procedures, Querys, Hadoop e compatível com Big Data, Google Analytics Recebe os Layout das integrações já modelados na ferramenta 4Insights Data Modeler e acelera o desenvolvimento das extrações dos dados Criptografa as informações Compacta as interfaces Transfere de forma segura (protocolo SFTP) Ferramenta visual Executa automaticamente as cargas dentro do Data Loader 4Insights quando solicitado

10 Pentaho – Front-End Ferramenta Analítica Desenvolvimento dos relatórios e Dashboard Possui Data Discovery * Observação: Componente em construção pela fábrica da ST IT Consulting

11 Obrigado!