Introdução ao Azure SQL DataWarehouse

Apresentação em tema: "Introdução ao Azure SQL DataWarehouse"— Transcrição da apresentação:

1 Introdução ao Azure SQL DataWarehouse
Vitor Fava Introdução ao Azure SQL DataWarehouse

2 Patrocinadores Obrigado pelo apoio!

3 Prêmios Distribuição de prêmios no encerramento – 18:20 GRAVAÇÕES

4 Agenda O que é um DataWarehouse? E o SQL DataWarehouse? Arquitetura do SQL DataWarehouse Gerenciamnto de um SQL DataWarehouse

5 Module 0: Introduction Course ####y Vitor Fava MVP Data Platform Principal Database Architect at Vita Database Solutions Pass Chapter Leader at SQLManiacs SQL Server Database Consultant at Pythian Welcome students to the course and introduce yourself. Provide a brief overview of your background to establish credibility. Ask students to introduce themselves and provide their backgrounds, product experience, and expectations of the course. Record student expectations on a whiteboard or flip chart that you can reference during class.

6 O que é um DataWarehouse?
Conjunto de dados que é carregada de uma ou mais fontes de dados e é usada para executar tarefas de business intelligence, como análise de dados e relatórios; Consultas que examinam grandes quantidades de linhas, grandes intervalos de dados e podem retornar resultados relativamente grandes para fins de análise e relatório; Cargas de dados relativamente grandes, ao contrário das inserções/atualizações/exclusões pequenas no nível de transação;

7 E o SQL DataWarehouse? O SQL Data Warehouse é um banco de dados baseado em nuvem e expansível com capacidade de processar volumes imensos de dados, relacionais e não relacionais. Criado na arquitetura MPP (processamento paralelo massivo), o SQL Data Warehouse pode lidar grandes cargas de trabalho corporativa.

8 E o SQL DataWarehouse? Combina o banco de dados relacional do SQL Server com os recursos de expansão na nuvem do Azure; Podemos aumentar, diminuir, pausar ou retomar a computação em segundos. Você economiza custos expandindo a CPU quando for necessário e cortando o uso durante os horários de pico; É fácil de implantar, apresenta uma manutenção tranquila e é totalmente tolerante a falhas graças ao backups automáticos; Podemos desenvolver com o T-SQL (Transact-SQL) do SQL Server e ferramentas conhecidas;

9 Arquitetura de Processamento Paralelo Massivo (MPP)
SQL Data Warehouse distribui seus dados por muitas unidades de armazenamento compartilhado e de processamento; Os dados são armazenados com redundância local Premium e são vinculados aos nós de computação para execução da consulta; Abordagem de “dividir para conquistar” afim de executar cargas e consultas complexas; As solicitações são recebidas pelo nó de controle, otimizadas e passadas aos nós de computação para realizarem seus trabalhos em paralelo;

10 Arquitetura de Processamento Paralelo Massivo (MPP)
Aumentar ou reduzir o armazenamento de forma independente à computação; Aumentar ou reduzir a computação sem mover dados; Pausar a capacidade de computação enquanto mantém os dados intactos; Retomar a capacidade de computação quase imediatamente;

11 Arquitetura de Processamento Paralelo Massivo (MPP)

12 Unidade de processamento do SQL Data Warehouse
A alocação de recursos para o SQL Data Warehouse é medida em DWUs (Unidades de Data Warehouse); Medida de recursos subjacentes, como CPU, memória, IOPS, que são alocados para o SQL Data Warehouse; Fornece três métricas precisas altamente correlacionadas ao desempenho da carga de trabalho do data warehouse;

13 Unidade de processamento do SQL Data Warehouse
Scan/Aggregation:  usa um padrão de consulta que verifica um grande número de linhas e, em seguida, executa uma agregação complexa. Essa é uma operação que exige bastante I/O e CPU; Load: mede a capacidade de incluir dados no serviço. Essa métrica é projetada para enfatizar os aspectos de Rede e de CPU do serviço; CTAS (Create Table As Select):  CTAS mede a capacidade de copiar uma tabela. É uma operação com uso intenso de CPU, rede e E/S;

14 Pausar e escalar sob demanda
Quando você não precisar executar consultas, talvez durante a noite ou nos finais de semana, desative suas consultas. Depois, pause seus recursos de computação para evitar pagar por DWUs quando não precisar mais delas; Quando o sistema tiver uma demanda baixa, considere a redução da DWU. Ainda é possível acessar os dados, mas com uma economia significativa; Ao executar uma operação de transformação ou carga de dados pesados, convém escalar verticalmente para que os dados fiquem disponíveis mais rapidamente;

15 Desenvolvido a partir do SQL Server
Utiliza a sintaxe do T-SQL para várias operações. Também oferece suporte a stored procedures, funções, particionamento de tabelas, índices e collations; Contém vários recursos recentes do SQL Server, incluindo índices columnstore, integração com PolyBase e auditoria de dados; Determinados elementos de linguagem T-SQL que são menos comuns para Datawarehouses, ou que são mais recentes no SQL Server, podem não estar disponíveis no momento;

16 Importando dados para o SQL DataWarehouse
AZCopy; BCP; SSIS; RedGate; PolyBase

17 Ferramentas de Gerenciamento
Portal do Azure; SQL Server Data Tools Powershell; SQLCMD;

18 Conclusão Trabalha com a arquitetura de MPP para garantir a velocidade no atendimento das requisições; É possível escalar o armazenamento e o poder de processamento de forma independente; Podemos pausar o serviço no momento em que não é necessário e diminuir os custos; Suporte ao T-SQL, o que facilita a utilização do serviço;

19 Obrigado !!!!! Vitor Fava