Cloud Computing e Azure no contexto da pesquisa científica Otavio Pecego Coelho Arquiteto de Soluções Microsoft Brasil

Apresentação em tema: "Cloud Computing e Azure no contexto da pesquisa científica Otavio Pecego Coelho Arquiteto de Soluções Microsoft Brasil"— Transcrição da apresentação:

1 Cloud Computing e Azure no contexto da pesquisa científica Otavio Pecego Coelho Arquiteto de Soluções Microsoft Brasil http://blogs.msdn.com/otavio E-mail: otavioc@microsoft.comotavioc@microsoft.com

2 INTRODUÇÃO

3

4 A Evolução da Ciência Ciência Empírica Cientistas coletam dados pela observação direta Cientistas analisam a informação Ciência Teórica Cientistas constroem um modelo analítico Fazem predições Ciência Computacional Simulação do modelo analítico Validação do modelo e construção de predições

5 A Ciência Computacional Evolui eScience - Exploração da Informação “onde a TI encontra a ciência” Informação capturada por instrumentos e/ou Informação gerada por simuladores Processadas por software Armazenadas em bancos/arquivos Cientistas analisam bancos/arquivos Nova ênfase em informática: Captura Organização Sumarização Análise Visualização Une exploração de dados mais simulação. É cedo para dizer se comp-X e X-info irão unificar ou competir. 5 BaBar, Stanford Space Telescope P&E Gene Sequencer From http://www.genome.uci.edu/

6 A Explosão de Dados na Ciência ExperimentosArquivosLiteraturaSimulações Petabytes Dobrando a cada 2 anos Consumo O Desafio: Possibilitar Descobertas via mineração, buscas e análise destes dados em tempo quase-real.

7 Hoje temos um ponto de inflexão Desafios econômicos Eficiência na Pesquisa Escala da Infraestrutura Transição Tecnológica Cloud computing e Software+Serviços Escalando o armazenamento e lidando com o Multicore Respostas atuais: Serviços na nuvem ricos Infraestrutura Hospedada Economia de escala (Computação como Commodity)

8 Alguns Investimentos da Microsoft High Performance Computing Cloud Computing - Azure

9 HPC Alternativa usual

10 Objetivo 10

11 Windows HPC Server 2008 Solução inter-operável c/ biblioteca padrão MPI Construída em cima do Windows Server 2008 64-bit Administração Job Scheduling Networking & MPI Storage

12 Scheduler Req Jobs Results WS User App MPI Compute Node Job Execution Head Node Job Mgmt Resource Mgmt Cluster Mgmt Scheduling WS Req Service Oriented Architecture-HPC

13 RedeMPI Rede Privada Rede Pública Infra estrutura da TI Compute Node Head Node ADDNSDHCP Windows Update Monitoring Systems Management Cluster de Computação Topologia Típica de um Cluster Admin / User Cons WDS Job Scheduler MPI Management NAT Node Manager MPI Management Compute Node Node Manager MPI Management

14 Setup Simples Foco no gerenciamento simplificado Escala Horizontalmente Integração com o gerenciamento da corporação Integrado com a IDE de Desenvolvimento MS Research: Dryad e DryadLinq Diferenciais

15 AZURE

16 Não seria bom ter… Um pool de recursos computacionais (virtualmente) infinito (e elástico) oferecido no modo self-service, por um terceiro via um modelo “pague o quanto usa” Esta é a definição mais usual de Cloud Computing !

17 Uso Computar Time Média Período de Inatividade Cargas On/Off (ex.:. Job batch) Desperdício da capacidade provisionada Time to market pode ser retardado Computar Tempo Uso Médio Pico de demanda inesperada Desempenho comprometido pelo pico Difícil provisionar nos casos extremos Uso Médio Computar Tempo Serviços que precisam cresce e escalar Crescer é um desafio grande na TI Deployment complexo Computar Tempo Uso Médio Serviços c/ micro sazonalidades Picos devido a demandas periódicas Complexidade da TI + desperdício O que isto iria resolver?

18 TEMPO CAPACIDADE DA TI Carga Atual Alocação de capacidades “Desperdício“ de capacidades “Falta“ de capacidades Custo fixo das capacidades Previsão de Carga Custo Inicial das capacidades

19 Carga Atual Alocação de capacidades Redução dos investimentos iniciais Redução do “excesso de TI“ Sem “falta“ de capacidades É possível a redução das capacidades no caso da redução da carga Tempo CAPACIDADE DA TI Previsão de Carga

20 Datacenter

21 Cloud Computing Modelo em Camadas

22 ComputeStorageManagement Relational dataConnectivityAccess control Experiência de Desenvolvimento que usa ferramentas e conhecimento atual Plataforma Windows Azure

23 Cloud Computing Modelo em Camadas

24 Componentes da Plataforma Windows Azure Business Analytics Reporting Data Sync

25 Componentes do Windows Azure

26 Windows Azure em uma imagem Desktop VS Tools WA SDK Storage Cluster Datacenters da Microsoft Portal de Negócios Portal do Desenvolvedor Compute Cluster … … Service de Gerência de Serviços REST … Cloud VM Runtime API VM Setup Código

27 Arquitetura do Windows Azure Infraestrutura em nuvem construída de baixo para cima Deployment de imagens de VMs; Programação de Rede; Alocação de VMs Microsoft Global Datacenters Armazenamento de Dados Replicados Modelo de Processamento do Serviço; Modelo de Saúde do Serviço Abstração de Storage: Blobs, Tables, … Modelo de Programação Ferramentas de Desenvolvimento Partições Balanceadas para Carga Gerenciamento de Serviços

28 OBJETIVO: ESCALABILIDADE MASSIVA Scale “out” pela replicação de instâncias dos processos de acordo com necessário. Full-Trust - Código Nativo via P/Invoke FastCGI Dois tipos de Instâncias: Web Role & Worker Role Cada instância roda na sua própria VM e é replicada caso necessário Serviços de Computação no Windows Azure

29 DEMO – PORTAL E HELLO WORLD

30 Gerência do Serviço Gerência de Serviço como serviço APIs para uso local ou remoto API de diagnóstico Logs do IIS, Contadores de Desempenho, etc. API de Service Management Em combinação c/ a API de diagnóstico você pode construir um loop de feedback

31 Modelos de Upgrades In-place rolling upgrade Instâncias de Roles são divididos em update domains Atualize um update domain por vez O serviço permanece disponível durante o upgrade Real-time hot swap Troca de endpoints do serviço velho c/ o novo Permite mudanças arquiteturais complexas Downtime planejado Pare e troque o serviço com a nova versão

32 OBJETIVO: ESCALÁVEL, DURÁVEL E PAGUE O QUANTO USA O Storage do Windows Azure é um outro aplicativo gerenciado pelo Fabric Controller. Aplicativos do Windows Azure podem usar o storage nativo ou o SQL Services O estado do Aplicativo é armazenado nos serviços de storage para que os processos possam se replicados para melhor escalabilidade. Blobs: dados grandes e não estruturados (audio, video, etc) Tables: quantidades massivas de dados simples e estruturados, acessados via ADO.NET Queues: mensagens acessadas de modo serial, permitindo a interação entre os papéis web e workers Serviços de Storage no Windows Azure

33 Azure : Um Cenário Completo Microsoft Data Centers User Interface Business Logic Table Storage Video Metadata Blob Storage Raw Video Blob Storage Encoded Queue Process Communication Encoding Process

34 Azure: Um Cenário Completo Microsoft Data Centers User Interface Business Logic Table Storage Video Metadata Blob Storage Raw Video Blob Storage Encoded Queue Process Communication Encoding Process

35 Banco de Dados Relacional como serviço Alta disponibilidade, manutenção automática Extensão da plataforma SQL Server Business Analytics Reporting Data Sync

36 Ferramenta para sincronização com o SQL Azure Conecta aplicativos da nuvem com os on-premises Cria clientes em modo cached Novos: SQLAzureSyncProvider: otimizado para o SQL Azure VS PlugIn: Template + Geração de código SQL Azure Data Sync Tool for SQL Server: provisionamento e sincronização entre SQL Server e SQL Azure. Sync Sync / Cache

37 Conexões Seguras entre serviços Atravessa os limites das organizações Controle de acesso baseado em declarações

38 MAPREDUCE

39 Pattern “MapReduce”* * 2004 OSDI paper by Jeff Dean and Sanjay Ghemawat (Google)

40 - Usando a Nuvem para Computar Master Client Data Worker “Map” M Quantos ”e”’encontramos na frase “The quick brown fox jumps over the lazy dog”?

41 Usando a Nuvem para Computar Master Client Result Worker “Reduce ” L 3 ”e” achados

42 Como resolver isto no Azure?

43 Usando a Nuvem para Computar Web Role Client Data Worker Data Aplicação Cliente Job/Task Scheduler Serviço Remoto Fila Req Tabela

44 Demo

45 Resumo A ciência hoje pede uma infraestrutura que apoie a alta demanda de poder computacional e armazenamento de dados Duas das principais iniciativas que vão de encontro a estas necessidades são os investimentos em HPC e Azure Diminuir os custos de administração e deployment é o maior diferencial do HPC da Microsoft hoje Azure é um Sistema Operacional feito para a Nuvem É projetado para utility computing Tem 4 metas principais: Gerenciamento Automático dos Serviços Um hospedeiro poderoso de Serviços Armazenamento e processamento escalável e disponível Uma experiência de desenvolvimento rica e familiar

46 Convite Cloud Futures 2010 Conference na Microsoft Research, Redmond 8-9 de Abril 2010 Key notes Prof D. Patterson, UC Berkeley and Dr. D. Reed, Microsoft Research Industry presentations, Tutorials and Panel discussions (including Microsoft, Amazon, Yahoo, Google) – provisional;. Invited talks from faculty, researchers and industry of 30 minutes on the role of cloud computing across a variety of research and curriculum development areas---including computer science, earth sciences, healthcare, humanities, life sciences, and social sciences---that highlight how new techniques and methods of research in the cloud may solve distinct challenges arising in those diverse areas. The presenters will be selected based on the abstract Abstract submission deadline February 10, 2010 to cloudfut@microsoft.com;cloudfut@microsoft.com Invited talks will be announced on February 18, 2010 Abstracts will be review by the designated panel of MSR researchers and practitioners.

47 Links http://research.microsoft.com/en- us/collaboration/fourthparadigm/default.aspx http://research.microsoft.com/en- us/collaboration/fourthparadigm/default.aspx http://research.microsoft.com/en-us/projects/Dryad/ http://www.microsoft.com/hpc http://www.microsoft.com/windowsazure http://msdn.microsoft.com/pt-br/azure http://blogs.msdn.microsoft.com/otavio otavioc@microsoft.com

48 © 2010 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.