MVP Virtual Conference 2013 Cenário atual no mundo dos dados e a plataforma SQL Server Luciano Moreira.

Apresentação em tema: "MVP Virtual Conference 2013 Cenário atual no mundo dos dados e a plataforma SQL Server Luciano Moreira."— Transcrição da apresentação:

1 MVP Virtual Conference 2013 Cenário atual no mundo dos dados e a plataforma SQL Server Luciano Moreira

2 Luciano Moreira [Luti] SQL Server MVP | PASS RM | MC* | MCM Wannabe @luticm http://luticm.blogspot.co m luciano.moreira@srnimbus.com. br

3 Agenda A plataforma SQL Server Business Intelligence Cloud Computing Big Data Appliances Engine Relacional vNext Referências Conclusão

4 SQL Server SQL Server 4.2 – Fim do acordo com Sybase SQL Server 6.5 – Pequenos volumes de dados e suporte Windows NT SQL Server 7.0 Mudanças arquiteturais (tamanho de página, UMS) Full-Text Search e DTS OLAP Services SQL Server 2000 Entrando no mundo Enterprise Boa estabilidade e desempenho SQL Server 2005 SSRS, SSIS e SSAS = BI edition Database Mirror, Snapshot (DB e Isolation),...

5 SQL Server SQL Server 2008 Enterprise Level – Audit, PBM, compressão backup e dados, mirroring, xEvents, Resource Governor, filestream Reescrita engine SSRS SQL Server 2008 R2 StreamInsight, Master Data Services PowerPivot PDW SQL Server 2012 AlwaysOn Availability Groups ColumnStore Index Data Quality Services, Filetable, semantic search, SSAS tabular, windowing functions, distributed replay, SSDT, batch processing,...

6 Business Intelligence / Data Warehouse DW vs BI Uma das maiores tendências no mundo dos dados Presente na lista de prioridade do Gartner nos últimos 10 anos 10 anos? TI? Falhas dos projetos Projeto complexo Problemas nos dados Usuário não sabe o que quer Só preciso de um relatório Mudança Modo de fazer BI vem mudando

7 Business Intelligence / Data Warehouse OLTP OLAP

8 Business Intelligence / Data Warehouse OLTP OLAP ?

9 Cloud Computing Preciso falar que é uma tendência em TI? Não é para todo mundo, mas é um facilitador Pequenos podem se tornar grandes Windows Azure SQL Database Release contínuo de funcionalidade Azure Tables Espaço noSQL (MongoDB, Cassandra, BigTable, etc.) Database on the cloud ou database for the cloud? NuoDB

10 O volume de dados só cresce... Há mais dados armazenados por empresa do que na biblioteca do Congresso dos EUA Volume de informações está crescendo em todo o mundo a uma taxa mínima de 59% ao ano com 15% de dados dados estruturados e o resto composto de novos tipos de dados complexos o que contribui para cenários de Big Data - Donald Feinberg, Gartner IT Symposium, Outubro 2010

11 Big Data Explosão de dados = fenômeno Big Data The economist: The data deluge Bilhões de dados sendo gerados a cada minuto ou segundo Aplicações crescem e maiores volumes de dados têm que ser armazenados Necessidade de armazenar, catalogar, explorar e fazer esse dado virar informação

12 Big Data Muitos da TI encaram esse volume de dados como CUSTO Mas deveriam ver os dados como uma OPORTUNIDADE O que é Big Data? É algo que fica entre medium data e gigantic data? Big Data é uma coleção de dados tão grande e complexa que fica difícil de processar usando ferramentas de gerenciamento de banco de dados ou aplicações tradicionais. A quantificação do valor (TB, PB) não é precisa e a cada evolução da tecnologia o big dá um passo a mais

13 Big Data - Hadoop

14

15 HDInsight https://www.hadooponazure.com/ HDInsight http://www.windowsazure.com/en- us/manage/services/hdinsight/introduction-hdinsight/ http://www.windowsazure.com/en- us/manage/services/hdinsight/introduction-hdinsight/ http://www.windowsazure.com/en-us/manage/services/hdinsight/

16 Polybase Integração entre mundo relacional e hadoop (não-relacional) http://projectbotticelli.com/news/sql-server-2012-sp1-hekaton- xvelocity-polybase-data-mining-office-sharepoint-2013 http://projectbotticelli.com/news/sql-server-2012-sp1-hekaton- xvelocity-polybase-data-mining-office-sharepoint-2013 http://www.zdnet.com/microsofts-polybase-mashes-up-sql-server- and-hadoop-7000007424/ http://www.zdnet.com/microsofts-polybase-mashes-up-sql-server- and-hadoop-7000007424/ http://www.microsoft.com/en-us/sqlserver/solutions- technologies/data-warehousing/polybase.aspx http://www.microsoft.com/en-us/sqlserver/solutions- technologies/data-warehousing/polybase.aspx http://gsl.azurewebsites.net/Projects/Polybase.aspx

17 Appliances Parallel Data Warehouse v1 PDW 2012 Up to 50x performance gains with the xVelocity updateable columnstore. Up to 100x performance gains over legacy warehouses. Seamless integration with Big Data using PolyBase. Multi-petabyte data capacity. 2.5x lower price per terabyte than SQL Server 2008 R2 PDW and lowest price per terabyte in industry. Configuração da caixa dispensa experts em diversas áreas na sua empresa

18 Engine relacional Avanços no query optimizer (star join queries, desempenho, etc.) SQL Server 2012 ColumnStore Indexes (não-cluster, não atualizável) Batch Processing Armazenamento por coluna apresenta muitas vantagens: Compressão Segment elimination Column elimination SQL Server vNext Clustered columnstore index Updatable

19 Engine relacional Projeto HEKATON = In-memory databases Não é pintable! Não necessita de appliance para executar, reutiliza mesmo hardware de hoje Demonstração PASS 2012 = 30x ganho de desempenho Optimistic Approach (no latching) Código nativo in-memory Aceleração das transções Uma melhor b-tree http://research.microsoft.com/en-us/news/features/hekaton- 122012.aspx http://research.microsoft.com/en-us/news/features/hekaton- 122012.aspx

20 Conclusão Talvez o mundo dos dados nunca foi tão empolgante como o que estamos vivendo hoje! Cientistas de dados

21 Referências Migration Guide: Migrating to SQL Server 2012 Failover Clustering and Availability Groups from Prior Clustering and Mirroring Deployments Migration Guide: Migrating to SQL Server 2012 Failover Clustering and Availability Groups from Prior Clustering and Mirroring Deployments Microsoft SQL Server AlwaysOn Solutions Guide for High Availability and Disaster Recovery Failover Cluster Step-by-Step Guide: Configuring the Quorum in a Failover Cluster Recommended Adjustments to Quorum Voting Prerequisites, Restrictions, and Recommendations for AlwaysOn Availability Groups (SQL Server) Prerequisites, Restrictions, and Recommendations for AlwaysOn Availability Groups (SQL Server) Client Connectivity and Application Failover (AlwaysOn Availability Groups) Asymmetric Storage: http://support.microsoft.com/kb/976097http://support.microsoft.com/kb/976097 Node Votes: http://support.microsoft.com/kb/2494036http://support.microsoft.com/kb/2494036

22 Luciano Moreira [Luti] SQL Server MVP | PASS RM | MC* | MCM Wannabe @luticm http://luticm.blogspot.co m luciano.moreira@srnimbus.com. br

23 Obrigado.