Pentaho Data Integration

Apresentação em tema: "Pentaho Data Integration"— Transcrição da apresentação:

1 Pentaho Data Integration
Ceça Moraes Setembro/2015

2 Pentaho Data Integration (PDI)
PDI ou Kettle Componente da suite do Pentaho responsável pelos processos de ETL Extraction, Transformation and Load Descompactar numa pasta

3 Outra Aplicações do PDI
Migração de dados entre aplicações/banco de dados Exportar dados de banco de dados para outros formatos Limpeza de dados

4 Componentes PDI Spoon Pan Kitchen Carte
Criação de transformações e jobs Pan Execução de transformações com agendamento em intervalos Kitchen Execução de jobs com agendamento em intervalos Carte web server para execução remota de transformações e jobs

5 Kettle

6 Transformação Conjunto de passos interligados ou não
Contém fontes e saídas dos dados Conceito de stream (fluxo de dados) = entrada e saída de um passo Uma transformação para cada dimensão Arquivos *.KTR do Spoon

7 Passos (Steps) Unidade mínima da transformação
Grande variedade de tipos Input, Output, Joins,... Tipos básicos: entrada, transformação, saída

8 Passos (Steps)

9 Hops Links entre os steps Indicam fluxo dos dados (streams)
Origem e destino

10 Jobs Conjunto para execução de várias transformações
Arquivos *.KJB do Spoon

11 Tcharan...

12 Etls no Pentaho Data integration (Kettle)

13 Base Operacional: northwind

14 Data Warehouse: Vendas

15 Conexões

16 Conexões

17 Dimensão: Produto

18 Dimensão Produto

19 Tipo de Steps Tipos de steps utilizados Table Input (da aba “Input”)
Dimension lookup/update (da aba “Data Warehouse” Execute SQL Script (da aba “Scripting”)

20 Dimensão Produto

21 Dimensão Produto

22 Dimensão Produto

23 Dimensão Produto

24 Fato Vendas

25 Fato Vendas

26 Tipo de Steps Tipos de steps utilizados Table Input (da aba “Input”)
Database lookup (da aba “Lookup” Select Values (da aba “Transform”)

27 Tipo de Steps Tipos de steps utilizados
Memory Group By (da aba “Statistics”) Table Output (da aba “Output”

28 Fato Vendas

29 Fato Vendas

30 Fato Vendas

31 Fato Vendas

32 Fato Vendas

33 Fato Vendas

34 Fato Vendas

35 Fato Vendas

36 Fato Vendas

37 Mãos à obra e divirtam-se!!! 