Integrando Big Data ao OLTP com Polybase. Hadoop Cluster.

Apresentação em tema: "Integrando Big Data ao OLTP com Polybase. Hadoop Cluster."— Transcrição da apresentação:

1 Integrando Big Data ao OLTP com Polybase

2 Hadoop Cluster

3

4 HDInsight Cluster

5

6 Polybase

7 Independe do servidor HDInsight Processamento no SQL Server Servidor precise estar disponível Processamento delegado ao Hadoop - pushdown

8 Cluster de Scale-Out com Polybase

9 Instalação

10 Configuração

11 Hadoop Connectivity ValorTipo de Conexão 0Desabilitada 1 Hortonworks HDP 1.3 no Windows Server Azure blob storage (WASB[S]) 2Hortonworks HDP 1.3 no Linux 3Cloudera CDH 4.3 no Linux 4 Hortonworks HDP 2.0 no Windows Server Azure blob storage (WASB[S]) 5Hortonworks HDP 2.0 no Linux 6Cloudera 5.1 no Linux 7 Hortonworks 2.1 and 2.2 no Linux Hortonworks 2.2 no Windows Server Azure blob storage (WASB[S])

12 Instalação

13 Acesso ao Blob Storage

14 Passo 1: Configurar a Autenticação do Storage -- Create a db master key if one does not already exist, using your own password. CREATE MASTER KEY ENCRYPTION BY PASSWORD='MyP@ssword31'; --Enter the Azure account name and the acccess key as the secret CREATE DATABASE SCOPED CREDENTIAL AzureCred WITH IDENTITY = 'demostorageaccountbf', SECRET = '6xSJxNumUaiyAlXgTSbC/msp0ORv1Qduo8pa+gS3fvzVDPvBPq+vF36NjK PoqgsQtjNZQJDzyR1h3X8Qf6c0Pw==' A criação de uma masterkey é necessária para a criação de uma credential A credential é criada com a chave de acesso do storage

15 Passo 2: Criar a External Data Source CREATE EXTERNAL DATA SOURCE AzureDs WITH ( TYPE = HADOOP, LOCATION = 'wasbs://testedto@demostorageaccountbf.blob.core.windows.net/', CREDENTIAL = AzureCred ); O Data Source aponta para um blob container Utilizamos a credential criada no espaço anterior

16 Passo 3: Criar o File Format CREATE EXTERNAL FILE FORMAT CommaFormat WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS (FIELD_TERMINATOR =',') ); Um objeto File Format determina o formato do arquivo que será lido

17 Passo 4: Criar a External Table CREATE EXTERNAL TABLE Tempo ( [Data] Date, Hora varchar(15), Dia varchar(15), Temperatura int, Vento int ) WITH ( --Set the file to be the HVAC sensor sample file LOCATION='/example/data/Weather.txt', DATA_SOURCE = AzureDs, FILE_FORMAT = CommaFormat, ); Um objeto File Format determina o formato do arquivo que será lido O LOCATION pode apontar um arquivo ou uma pasta

18 Passo 5: Criar a External Table CREATE EXTERNAL TABLE Tempo ( [Data] Date, Hora varchar(15), Dia varchar(15), Temperatura int, Vento int ) WITH ( --Set the file to be the HVAC sensor sample file LOCATION='/example/data/Weather.txt', DATA_SOURCE = AzureDs, FILE_FORMAT = CommaFormat, ); Um objeto File Format determina o formato do arquivo que será lido

19 Conectando ao Azure Storage Demo

20 Horton SandBox

21 Configurar o ClassPath para possibilitar o pushdown Credencial só necessária se servidor Hadoop usar Kerberos Resource Manager Location especificada no Data Source

22 yarn.application.classpath Abra o arquivo Yarn-site.xml no diretório de configuração do Hadoop C:\apps\dist\hadoop-2.4.0.2.1.16.0-2374\etc\hadoop Pode também checar o classpath no Ambari Copie o valor da chave de configuração yarn.application.classpath Encontre o arquivo Yarn-Site.xml no caminho C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\MSSQL\Binn\Polybase\Hadoop\conf\ Cole o valor copiado na propriedade yarn.application.classpath

23 Formato do Resource_Manager_Location ServidorValor Hortonworks HDP 2.0, 2.1, 2.2 on WindowsNameNode_IP:8032 Hortonworks HDP 1.3 on WindowsNameNode_IP:50300 Hortonworks HDP 2.0, 2.1, 2.2 on LinuxNameNode_IP:8050 Hortonworks HDP 1.3 on LinuxNameNode_IP:50300 Cloudera 4.3 on LinuxNameNode_IP:8021 Cloudera 5.1 on LinuxNameNode_IP:8032

24 CREATE EXTERNAL DATA SOURCE HDP WITH ( TYPE = HADOOP, LOCATION = 'hdfs://192.168.56.101:8020',resource_manager_location='192.168.56.101:8050' ) CREATE EXTERNAL FILE FORMAT TSV WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS ( FIELD_TERMINATOR = '\t', DATE_FORMAT = 'MM/dd/yyyy' ) create external table sample_07 ( code nvarchar(255), description nvarchar(255), total_emp int, salary nvarchar(255) ) WITH ( LOCATION = '/apps/hive/warehouse/sample_07', DATA_SOURCE = HDP, FILE_FORMAT = TSV)

25 Conectando a uma Horton Sandbox Demo