Conhecendo o Azure SQL Data Warehouse

Apresentação em tema: "Conhecendo o Azure SQL Data Warehouse"— Transcrição da apresentação:

1 Conhecendo o Azure SQL Data Warehouse
Bruno Feldman da Costa Conhecendo o Azure SQL Data Warehouse

2

3 Bruno Feldman 6º SQL Saturday como Palestrante!!!
~15 anos trabalhando com SQL Server Trabalhei alguns anos como consultor SQL Server e BI Hoje trabalho como DBA Sr. na Neogrid Participei de alguns SQL Saturdays como ouvinte, arrisquei, submeti, fui aprovado e não quis mais parar!! Bruno Feldman Sr. Database Admin – Neogrid (Porto Alegre) OFF-Topics Formado em Matemática pela Universidade Federal do Rio Grande do Sul Pós Graduado em Segurança da Informação Graduando em Gastronomia (atualmente trancado depois de saber o preço da escolinha da filha) bfcosta @feldmanB /brunofeldman

4 Data Warehouse

5 Data Warehouse

6 Data Warehouse Data warehouse moderno

7 Data Warehouse Análise avançada em Big Data

8 Data Warehouse Análise em tempo real

9 Data Warehouse Arquitetura Hub-Spoke para BI

10 Data Warehouse Dimensionamento automático de Data Warehouse de Nuvem

11 Data Warehouse Consolidação de Data Mart

12 Azure SQL Data Warehouse

13 Azure SQL Data Warehouse

14 IaaS x PaaS

15 O que é o Azure SQL Data Warehouse (ASDW)
Database MPP (Massive Parallel Processing) no Azure, que é capaz de processar grandes volumes de dados Relacionais ou não relacionais. Primeiro DW na nuvem que possui a capacidade de aumentar, diminuir ou pausar recursos.

16 Arquitetura ASDW

17 Control Node “Controla” todo mundo É onde as aplicações conectam
“Powered by SQL Database”, as aplicações conectam como se fosse um SQL Database É o nó que vai gerenciar o paralelismo, quando uma query TSQL é enviada para o Control Node, ele irá criar querys separadas para rodar em cada Compute Node em paralelo

18 Compute Node’s São SQL Databases que executam as querys e gerenciam seus dados Os Compute Nodes executam paralelamente e de forma independente as suas consultas Quando finalizada a query, o resultado é devolvido ao Control Node. Quando todos os Compute Nodes entregarem seus resultados para o Control Node, ele agrega e retorna o resultado final para a aplicação.

19 Data Management Service
O Data Management Service (DMS) é a tecnologia da Microsoft para mover dados entre os Nodes O DMS disponibiliza ao Control Node o acesso aos dados dos nós para executar joins ou agregações.

20 Simple example SELECT COUNT_BIG(*) FROM dbo.[FactInternetSales] ;
SELECT SUM(*) FROM dbo.[FactInternetSales] ; Control Compute SELECT COUNT_BIG(*) FROM dbo.[FactInternetSales] ; SELECT COUNT_BIG(*) FROM dbo.[FactInternetSales] ; SELECT COUNT_BIG(*) FROM dbo.[FactInternetSales] ; SELECT COUNT_BIG(*) FROM dbo.[FactInternetSales] ;

21 Armazenamento Os dados no ASDW são armazenados em Azure Blob Storage, os Compute Nodes interagem diretamente ao Blob Storage para acessar os dados e executar as querys O Azure Blog Storage expande de forma transparente, logo o armazenamento no ASDW também Como o Storage é independente do do Compute Node, podemos fazer Scale de Storage e Computing separadamente!!!

22 Creating distributed tables
Microsoft Build 2016 7/13/2019 1:03 PM Creating distributed tables CREATE TABLE [build].[FactOnlineSales] ( [OnlineSalesKey] int NOT NULL , [DateKey] datetime NOT NULL , [StoreKey] int NOT NULL , [ProductKey] int NOT NULL , [PromotionKey] int NOT NULL , [CurrencyKey] int NOT NULL , [CustomerKey] int NOT NULL , [SalesOrderNumber] nvarchar(20) NOT NULL , [SalesOrderLineNumber] int NULL , [SalesQuantity] int NOT NULL , [SalesAmount] money NOT NULL ) WITH ( CLUSTERED COLUMNSTORE INDEX , DISTRIBUTION = ROUND_ROBIN ; CREATE TABLE [build].[FactOnlineSales] ( [OnlineSalesKey] int NOT NULL , [DateKey] datetime NOT NULL , [StoreKey] int NOT NULL , [ProductKey] int NOT NULL , [PromotionKey] int NOT NULL , [CurrencyKey] int NOT NULL , [CustomerKey] int NOT NULL , [SalesOrderNumber] nvarchar(20) NOT NULL , [SalesOrderLineNumber] int NULL , [SalesQuantity] int NOT NULL , [SalesAmount] money NOT NULL ) WITH ( CLUSTERED COLUMNSTORE INDEX , DISTRIBUTION = HASH([ProductKey]) ; © 2016 Microsoft Corporation. All rights reserved. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

23 ROUND ROBIN DISTRIBUTION
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60

24 HASH DISTRIBUTION 01 01 03 02 N HASH ( ) 01 02 03 04 05 06 07 08 09 10
11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60

25 Arquitetura ASDW Como cada Compute Node trabalha com uma porção do dado, se for necessário um Scale, basta adicionar mais Compute Nodes Como o dado não fica armazenado no Compute Node, não há redistribuição do dado, logo o tempo do Scaling é o tempo de ligar o Node (poucos minutos) O Scale(IN/OUT) pode ser feito via Azure Portal, ou pode ser agendado via TSQL ou PowerShell ou REST API Também é possível pausar o ASDW, o custo será somente o Storage

26 Introducing DWU CPU RAM I/O ALTER DATABASE ContosoRetailDW MODIFY
(service_objective = 'DW1000') ;

27 DWU

28 Arquitetura ASDW Toda tabela criada no ASDW é distribuída
O ASDW suporta 60 distribuições Quando é feito um Scale In/Out o Control Node define quem utiliza ou não uma distribuição, visto que o dado está no Blob Storage

29 Arquitetura ASDW Métodos de Carga no ASDW: SSIS BCP SQLBulkCopyAPI
AzureDataFactory Polybase -> Melhor método para carregar no ASDW!! Esses métodos passam pelo Control Node, criando um gargalo para a carga

30 Arquitetura ASDW “PolyBase is a scalable, query processing framework compatible with Transact-SQL that can be used to combine and bridge data across relational database management systems and Azure Blob Storage” O Polybase suporta: UTF-8 Text Files Hadoop File Formats: RC, ORC, PARQUET Arquivos Comprimidos: GZIP, Zlib, Snappy

31 Arquitetura ASDW Cada Compute Node possui um HDFS Bridge com o serviço DMS, cada bridge conecta paralelamente ao recurso Aumentando o DWU, o throughput também aumenta Um forma recomendada de enviar dados para o ASDW: Gravar em CSV Fazer upload no Azure Blob Storage Carregar usando o Polybase

32 Azure SQL Data Warehouse Gen2
Azure SQL Data Warehouse Compute Optimized Gen2 tier sets new performance standards for cloud data warehousing. Customers now get up to 5 times better query performance, 4 times more concurrency, and 5 times higher computing power compared to the current generation. It can now serve 128 concurrent queries from a single cluster, the highest of any cloud data warehousing service.

33 Azure SQL Data Warehouse Gen2

34 Azure SQL Data Warehouse Gen2

35 Azure SQL Data Warehouse Gen2

36 SQL Database x SQL DW Azure SQL Database and Azure SQL Data Warehouse compared So you can use both Azure SQL Database and Azure SQL Data Warehouse to store data. Why not use Azure SQL Database as a data warehouse? Well, you could do that, but it is not optimized for it. Azure SQL Database is optimized for doing CRUD operations (Create, Read, Update and Delete) that you typically perform from an application. This is also called OLTP (Online Transaction Processing). This is reflected by the functionality that it offers, which is typically used when you are building applications. Azure SQL Database also scales for OLTP, as different pricing tiers typically scale to give you more query throughput and not so much data (the current maximum is 1TB, and in some regions 4TB). Azure SQL Data Warehouse is optimized for performing data analytics tasks, and working with large amounts of data. This is also called OLAP (Online Analytical Processing). Data Warehouse is optimized for OLAP because it is built on top of the MPP (Massive Parallel Processing) architecture, and because it can hold massive amounts of data (currently the maximum is around 1PB) – much more than Azure SQL Database can store in one instance.

37 SQL Database x SQL DW

38 Dúvidas??

39 OBRIGADO!!!!!