© 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Grids Computacionais O Projeto OurGrid.

Apresentação em tema: "© 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Grids Computacionais O Projeto OurGrid."— Transcrição da apresentação:

1 © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Grids Computacionais O Projeto OurGrid www.ourgrid.org Walfredo Cirne/Jacques Sauvé walfredo@dsc.ufcg.edu.br Universidade Federal de Campina Grande

2 Drivers para grids Computacionais no domínio científico Cientistas e engenheiros podem usar todo o poder computacional que você pode juntar para eles Eles geram petabytes de informação e sempre querem ciclos, memória,... Demandas mais recentes: −Mais colaboração entre sites remotos −Muito mais dados dispersos

3 Drivers para grids no domínio de negócios Demandas para o CIOs −Melhorar confiabilidade −Aumentar a relevância da TI para o negócio −Reduzir a complexidade −Facilitar mudanças rápidas −Diminuir custos Grids podem servir para o que está em negrito

4 A missão em termos tecnológicos Fornecer alta qualidade de serviço em sistemas distribuídos −Incluindo recursos dentro e fora da empresa As dificuldades −Como agüentar largas escalas com grandes variações na demanda? −Como cruzar domínios administrativos com segurança? −Como lidar com o alto TCO de TI? −Como lidar com os novos provedores de serviço (e-Utilities)?

5 Solução: O que queremos? Desacoplar produção e consumo −Funções especializadas e serviços comuns podem se transformar em commodities Acesso sob demanda aos recursos Transparência

6 O que é um Grid? Grid Computacional (Recursos) Grid Computacional (Recursos)

7 O que é um grid? A figura anterior parece a Web?? −Sim, mas dentro da nuvem temos recursos e não informação Semelhante a um “Grid Elétrico” −Não preciso ter um gerador de energia em casa para ter eletricidade −Posso fazer o mesmo com recursos computacionais? Forte tendência de prover uma “orientação a serviços” −Casamento com Web Services

8 Aplicações de grids Supercomputação distribuída −Para agregar recursos computacional (ao mesmo tempo) para resolver problemas que não podem sê-lo num computador único Computação de alta vazão (Scavenging grid) −Aproveita recursos livres (idle) para aumentar a vazão agregada de tarefas

9 Aplicações de grids Computação intensiva em dados −Foco em sintetizar nova informação a partir de dados mantidos em repositórios, BDs e bibliotecas digitais geograficamente distribuídos Computação sob demanda −Uso de grid para satisfazer, no curto prazo, demandas de recursos que não podem ser satisfeitas localmente de forma barata Computação colaborativa −Foco em grids que incluem formas intensivas de interação humano-humano

10 Grids comerciais Mais perto dos últimos dois tipos (on-demand, collaborative), mas... −Aplicações de negócio rodam de forma contínua... −Por longos períodos de tempo... −E possuem requisitos mais fortes de QoS, segurança e contabilização Virtualização de Ativos de TI Marketing usa várias frases −“utility computing,” “e-business on demand,” “planetary computing,” “autonomic computing,” “enterprise grids” Ainda não estamos perto de chegar a “The Grid”

11 Obrigado. Estão convidados à palestra de desdobramento na qual falarei do projeto OurGrid.

12 Solução de um problema real Para terminar meu Ph.D., tive que rodar centenas de milhares de simulações independentes Já que as simulações são independentes, esta é uma aplicação perfeita para o grid Eu trabalhava num dos melhores laboratórios do mundo na pesquisa grid, mas não consegui usar o grid −“O grid” com todo seu middleware, ainda não existe

13 A Motivação para MyGrid Usuários de aplicações frouxamente acopladas poderiam de beneficiar do grid agora Porém, não usam o grid hoje porque a infraestrutura do grid ainda não está implantada em larga escala Que tal construirmos uma solução que não dependa de nenhuma instalação de infraestrutura grid?

14 MyGrid MyGrid permite que um usuário execute aplicações paralelas do tipo Bag-of-Tasks em quaisquer recursos a que tenha acesso −Aplicações Bag-of-Tasks são formadas de tarefas independentes Seu grid consiste de todos os recursos a que você tem acesso −Não precisa de middleware de grid −Middleware de grid pode ser usado se estiver disponível

15 Aplicações Bag-of-Tasks Mineração de dados Pesquisas massivas (como pesquisar por chaves de criptografia) Varreduras de parâmetros Simulações Monte Carlo Fractals (tais como Mandelbrot) Manipulação de imagens (ex. tomografia) E muitas outras…

16 O que é MyGrid? Um broker (ou escalonador de aplicações) Um conjunto de abstrações para esconder do usuário a heterogeneidade do grid

17 Um Exemplo: fatoração com MyGrid init mg-services put $PROC./Fat.class $PLAYPEN grid1 java Fat 3 18655 34789789798 output-$TASK collect mg-services get $PROC $PLAYPEN output-$TASK grid2 java Fat 18655 37307 34789789798 output-$TASK

18 Definindo seu Grid pessoal proc: name = ostra.lsd.ufcg.edu.br attributes = lsd, linux type = user_agent proc: name = memba.ucsd.edu attributes = lsd, solaris type = grid_script rem_exec = ssh %machine%command copy_to = scp %localdir/%file %machine:%remotedir copy_from = scp %machine:%remotedir/%file %localdir [...]

19 MyGrid pode usar quaisquer recursos … Home Machine Scheduler GridMachine Interface Globus Proxy UA Proxy Grid Script... Grid Machine Globus GRAM Grid Machine User Agent Grid Machine...

20 Lidando com Firewalls, IP privados, e máquinas Space-Shared Scheduler (Home Mac.) User Agent Grid Script Globus Proxy Grid Machine Gateway Space-Shared Gateway

21 Prova de conceito Durante um período de 40 dias, executamos 600.000 simulações usando 178 processadores localizados em 6 domínios administrativos diferentes Usamos apenas GridScript and escalonamento simples MyGrid usou 16.7 dias para terminar Minha máquina pessoal teria levado mais de 5 anos para fazer o mesmo Aceleração de 116 com 178 processadores

22 Pesquisa em HIV com MyGrid B,c,FB,c,F HIV-2 HIV-1 M O ABCDFGHJKABCDFGHJK N ? prevalent in Europe and Americas prevalent in Africa majority in the world 18% in Brazil

23 HIV protease + Ritonavir Subtype B RMSD Subtype F

24 O Grid para a pesquisa HIV 55 máquinas em 6 domínios administrativos nos EUA e Brasil −Máquinas acessadas via User Agent, UA + Grid Machine Gateway, UA + ssh tunnel, e Grid Scripts Tarefa = 3.3 MB entrada, 1 MB saída, 4 a 33 minutos de execução dedicada Executou 60 tarefas em 38 minutos Aceleração de 29 usando 55 máquinas

25 Status do MyGrid Projeto realizado em parceria com HP MyGrid é open source e está disponível em http://www.ourgrid.org/mygrid −Temos 150 downloads −Versão 2.0 liberada em fevereiro 2004 −Base do Grid PAUÁ, sendo desenvolvido pela HP Brazil Aplicações paralelas Bag-of-tasks podem se beneficiar do Grid agora −Firewalls, IP privados e outros problemas do mundo real dificultaram muito a solução

26 Colaboração/Interesse em MyGrid/OurGrid HP Brazil R&D Parceiros HP −LNCC, UniSantos, UniFor, Instituto Atlântico −CESAR/UFPE, Instituto Eldorado, IPT, AMR −PUCRS, UniSinos, UFRGS, USP Outros −UnB, UFBA, UCS, UniCap, UFPB, USP,...

27 Mais recursos −Pessoas querem acessar mais recursos do que aqueles a que têm acesso Facilidade de depuração −Boa sinergia com Failure Spotter, um outro projeto colaborativoentre UFCG e HP Mais segurança −Proteger recursos locais −Uso de uma máquina grid como plataforma de ataque Modelo de programação mais rico Demandas de Usuários MyGrid  OurGrid  GridDoc  SWAN

28 Outras atividades conjuntas entre HP + UFCG OurGrid Comunidade peer-to-peer baseada na troca de favores Failure Spotter se foca no projeto, implementação e uso de Detetores de falhas em sistemas distribuídos assíncronos Bottom Line provê soluções de baixa intrusão para a gerência de TI pela perspectiva do negócio −Business Impact Management usando métricas de negócio −Governância de TI

29 © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Obrigado! Visite www.ourgrid.org