Ellison Siqueira (erms)

Apresentação em tema: "Ellison Siqueira (erms)"— Transcrição da apresentação:

1

2 Ellison Siqueira (erms)
Ferramentas de ETL Por: Ellison Siqueira (erms)

3 Ferramentas de ETL Fonte dos dados: Ferramentas
Banco de Dados de Exemplo do MS Acess Formato: Access (.mdb) Nome do Banco Northwind Descrição da base A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos. Ferramentas DTS (Microsoft) – Data Transformation Services Kettle (Pentaho)

4 Ferramentas de ETL Destino dos Dados: Objetivos DW em MS SQL Server
Nome do Banco DWNorthwind Descrição Base de dados no modelo estrela. Os assuntos do modelo são Vendas e Estoque Objetivos Extrair os dados da base Access, aplicar transformações e carregá-las no banco SQL Server

5 Modelo Northwind

6 Modelo Estrela Vendas

7 Modelo Estrela Estoque

8 Modelos SQL Este Slide possui um comentário que contém o Script de criação da base de dados do DW.

9 Ferramentas ETL Considerações
A validação de chaves do banco de dados do DW não será desativada Assim, o processo primeiro deve ser aplicado as Dimensões e, depois, aos Fatos

10 Ferramentas ETL Microsoft DTS

11 Microsoft DTS É disponibilizado através do SQL Server Enterprise Manager Exige a “presença” de um servidor SQL Server ativo, mesmo que o Processo de ETL não envolva bases SQL Server A Ferramenta aplica o conceito de pacotes. Atividades do processo de ETL são agrupadas nestes pacotes.

12 Microsoft DTS

13 Microsoft DTS Criar um novo pacote e inserir as conexões

14 Microsoft DTS Conexões Acces e SQL Server

15 Microsoft DTS Criação das transformações

16 Microsoft DTS Criação das transformações

17 Microsoft DTS Criação das transformações

18 Microsoft DTS Auxílio na seleção dos dados na fonte

19 Microsoft DTS Criação das transformações Tipos de Transformações

20 Microsoft DTS Transformação ActiveX Script

21 Microsoft DTS Transformação ActiveX Script

22 Microsoft DTS Transformação ActiveX Script

23 Microsoft DTS Transformações - Dimensões
Clientes Fornecedores Funcionários Transportadoras Produtos Tempo Obs: Este Slide contém comentários com os comandos SQL de seleção das fontes e os scripts ActiveX das dimensões, quando o script for necessário

24 Microsoft DTS Criação das transformações - salvar Pacote

25 Microsoft DTS Criação das transformações Repetir o mesmo para os Fatos
Este Slide também possui comentários com instruções SQL e Scripts ActiveX Criação das transformações Repetir o mesmo para os Fatos Vendas Estoque

26 Microsoft DTS Criação de Pacote para automação do processo
O pacote deve (1) Excluir os dados do DW; (2) Exportar os dados das tabelas de dimensão; e, (3) Exportar os dados das tabelas de fato É necessário (1) A criação de uma conexão com a base SQL Server para possibilitar apagar os dados; (2) Um script SQL que apegue os dados; (3) Em caso de sucesso na eliminação dos registros, chamar o pacote de extração dos dados das dimensões; e, (4) Em caso de sucesso na extração dos dados das tabelas de dimensão, chamar o pacote de extração dos dados das dimensões.

27 Microsoft DTS Criação de Pacote para automação do processo
Aqui tem um comentário com o SQL para eliminar os dados das tabelas de fato e dimensão

28 Ferramentas ETL Kettle

29 Kettle Ferramentas Spoon Pan Chef Kitchen

30 Kettle Welcome to Spoon

31 Kettle Spoon

32 Kettle Mais opções ao usuário

33 Kettle Transformações
Primeiro é necessário criar conexões ODBC para as bases de dados de entrada e saída

34 Kettle Assistente para conexão - Access

35 Kettle Assistente para conexão - Access

36 Kettle Assistente para conexão – SQL Server

37 Kettle Assistente para conexão – SQL Server

38 Kettle Conexões criadas e Transformação salva

39 Kettle ETL Mini Dimensões

40 Kettle ETL Dimensões

41 Kettle Componentes utilizados Input -> Input table
Transform -> Select values Output -> Insert/Update Scripting -> Java Script Value Transform -> Calculator Join -> Database Join

42 Este Slide possui os scripts SQL em comentários
Kettle Input Table Informar a conexão Script SQL para Dimensões Cliente Fornecedor Funcionário Transportadora Produto Tempo Este Slide possui os scripts SQL em comentários

43 Kettle Select Values

44 Kettle Criar Relação entre componentes

45 Kettle Insert/Update

46 Este slide contém os scripts dentro de comentários
Kettle Java Script Value Script Java Script para Nome + Sobrenome Status Produto Manipula Datas Este slide contém os scripts dentro de comentários

47 Kettle Calculator

48 Kettle Database Join Script Join Localização

49 Este Slide também possui os Scripts
Kettle ETL Fatos Criar uma nova transformação (conexão e componentes) para as tabelas de fato Scrits SQL Vendas Estoque Script Java Script ValorEstoque Este Slide também possui os Scripts Scrits Join

50 Kettle Criação do Job de automação

51 Kettle Componentes Job
Start Transformation Devem ser criadas as relações entre os componentes

52 Kettle Start

53 Kettle Transformation

54 Ferramentas ETL ? Dúvidas

55