© 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal.

Apresentação em tema: "© 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal."— Transcrição da apresentação:

1 © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Walfredo Cirne Universidade Federal de Campina Grande http://walfredo.dsc.ufcg.edu.br mailto:walfredo@dsc.ufcg.edu.br Computação em Grid usando OurGrid

2 O que é um Grid? Computational Grid (source of computational resources and services) Computational Grid (source of computational resources and services)

3 Para que serve um Grid?

4

5

6

7 O Impacto de Grids VR Simul Grid Auditing MegaCiclos Databank Inc. Mastercard Embratel

8 Estado Atual de Grids A idéia de Grid surgiu na comunidade de Computação de Alta Performance há pouco menos de 10 anos Agora os primeiros Grids de Alta Performance começam a entrar em produção Há 3 anos, o mainstream da computação percebeu a possibilidade de usar tecnologia Grid para transformar computação em serviço A tecnologia Grid está se fundindo com Web Services

9 O que dá pra fazer hoje? Cada site mantém controle e escalonamento local É possível configurar o mapeamento de usuários globais para usuários locais Aplicações usam o Grid como um todo através de brokers (ou escalonadores de aplicação) Montar um Grid envolve uma negociação off-line

10 Rodando uma Aplicação Globus

11 O Projeto OurGrid Projeto desenvolvido em parceria pela UFCG e HP

12 A Tecnologia OurGrid OurGrid é uma solução grid para execução de Aplicações Bag-of-Tasks Aplicações Bag-of-Tasks são aquelas aplicações cujas tarefas são independentes Não é viável fazer computação em grid de aplicações fortemente acopladas na Internet de hoje

13 Aplicações Bag-of-Tasks Data mining Pesquisa massiva (como quebra de chave e sequenciamento de gens) Varredura de parâmetros Simulações Fractais (como Mandelbrot) Manipulação de imagem (como tomografia) E muitas outras…

14 Diferenciais do OurGrid Montagem automática de grids Evitando assim todo procedimento de negociação off- line Escalonamento de aplicação (brokerage) que não depende de informações sobre a aplicação e sobre o grid

15 Componentes do OurGrid MyGrid Broker: Permite um usuário utilizar todas as máquinas a que tem acesso OurGrid Community: Fornece acesso a máquinas dentro do COPAD SWAN: Segurança

16 Arquitetura OurGrid 1,..., n User Interface Site Manager SWAN Sandboxing MyGrid SWAN

17 OurGrid: Uma Rede de Favores Usuários locais sempre têm prioridade nos recursos locais Recursos ociosos são doados para comunidade A grande questão é como fazer esta doação de forma justa

18 Evitando o Gerson É fundamental ter um mecanismo que encoraje of participantes a doarem seus computadores ociosos Em sistemas como KaZaA, a maioria é Gerson OurGrid usa um sistema de reputação peer-to- peer Todos os peer mantém um balanço local de todos os peers conhecidos Peers com maior balanço têm prioridade O comportamento emergente do sistema como um todo é quanto mais você doa, mais você recebe Isso funciona sem requerer infra-estrutura adicional

19 A B C D E Exemplo do OurGrid [1] ConsumerQuery (broadcast) ProviderWorkRequest ConsumerFavor ProviderFavorReport * * * = no idle resources now MyGrid B60 D45

20 Exemplo do OurGrid [2] A B C D E B60 D45 E 0 ConsumerQuery ProviderWorkRequest * * = no idle resources now * MyGrid

21 E o Gerson? Epsilon is a fração dos recursos consumida por Gersons

22 Equidade entre colaboradores

23 MyGrid: o broker do OurGrid Para fechar meu doutorado (em 2000), tive que rodar 600.000 simulações independentes Dado que as simulações eram independentes, eu tinha a aplicação perfeita para o grid Eu estava em um laboratório grid de ponta, mas não consegui usar o grid Você precisa da negociação off-line para ter um grid

24 Objetivos do MyGrid MyGrid possibilita a um usuário de aplicações Bag-of-Tasks usar qualquer computador a que ele tem acesso para rodar suas aplicações O grid de Zé são todas as máquinas a que Zé tem acesso Não é necessário ter nenhuma infra-estrutura grid especial Mas infra-estrutura grid pode ser usada (se estiver disponível)

25 Arquitetura MyGrid Home Machine Scheduler Grid Machine Interface Globus Proxy UA Proxy Grid Script... Grid Machine Globus GRAM Grid Machine User Agent Grid Machine...

26 Fatorando com MyGrid init put Fat.class $PLAYPEN grid1 java Fat 3 18655 34789789799 output-$TASK collect get $PLAYPEN/output-$TASK. grid2 java Fat 18655 37307 34789789799 output-$TASK

27 Como escalonar no MyGrid? Escalonamento tipicamente se baseia em informação sobre a plataforma (no caso, o grid) e sobre a aplicação (ex: tempo de execução da tarefa) Todavia, depender de informação vai contra a idéia de usar qualquer recurso ao qual o usuário tenha acesso A Grid Machine Interface teria que ser bem mais sofisticada, e portanto mais difícil de implementar Além disso, pedir informação sobre a aplicação ao usuário tornaria o sistema mais difícil de usar

28 Escalonando sem Informação Work-queue with Replication Tarefas são enviadas a processadores disponíveis Quando não há mais tarefas a iniciar, tarefas são replicadas nos processadores disponíveis A primeira replica a terminar é a execução oficial As demais replicas são canceladas É possível estabelecer um limite para replicação Replicação evita ficar esperando por máquinas lentas/sobrecarregadas

29 Work-queue with Replication 8000 experimentos Experimentos variaram em: heterogeneidade do grid heterogeneidade da aplicação granularidade da aplicação Sumário dos resultados:

30 Granularidade da Aplicação

31 Overhead do WQR Obviamente, a desvantagem do WQR são os recursos desperdiçados pelas replicas canceladas Recursos desperdiçados:

32 Prova de Conceito Durante um período de 40 dias, rodei 600,000 simulações usando 178 processadores espalhados por 6 sites nos EUA As simulações executaram por 16,7 dias Meu computador desktop teria levado 5,3 anos processando as simulações Speed-up = 115.8 (com 178 processadores)

33 MyGrid na Luta contra AIDS B,c,FB,c,F HIV-2 HIV-1 M O ABCDFGHJKABCDFGHJK N ? prevalent in Europe and Americas prevalent in Africa majority in the world 18% in Brazil

34 HIV protease + Ritonavir Subtype B RMSD Subtype F

35 O MyGrid da luta contra AIDS 55 máquinas em 6 sites no Brasil e EUA Tarefa = 3.3 MB entrada, 1 MB saída, 4 a 33 minutos de execução dedicada Rodou 60 tarefas em 38 minutos Speed-up = 29.2 (com 55 máquinas)

36 Segurança no OurGrid Na comunidade OurGrid, um site roda código desconhecido que veio do grid Claramente, isto é um (grande) risco de segurança Pode afetar dados e recursos locais das máquinas A máquina pode ser usada para atacar outras Aproveitamos o fato de aplicações Bag-of-Tasks só precisarem se comunicar para receber a entrada e devolver a saída para rodar a aplicação do grid em um sandbox sem acesso a rede

37 Uma segunda linha de defesa Nós também rebootamos a máquina para adicionar uma segunda linha de defesa Isto também tem a vantagem extra de possibilitar o uso de um SO diferente Ou seja, mesmo que a máquina seja Windows, nós ainda podemos ter Linux Retornar ao SO nativo é muito rápido graças a hibernação

38 Arquitetura SWAN

39 OurGrid Status A solução OurGrid é software de código aberto (licença GPL), disponível em www.ourgrid.org Contando com colaborações externas do Inst. Eldorado, Inst. Atlântico, e UFRGS OurGrid está na versão 3.0.2 É a 9ª versão disponível É a 3ª versão a disponibilizar a rede de favores Aproximadamente 200 downloads Grid aberto em produção desde de dezembro SWAN está em testes finais Com lançamento dia 30 de abril de 2005, na versão 3.1

40 status.ourgrid.org

41 Projetos que usam OurGrid Segurança Hídrica, liderado pela UFCG Segurança Pública, liderado pela UniFor BioPAUÁ, liderado pelo UniSinos Mineração de dados, liderado pela UniSantos Raciocínio Bayesiano, liderado pela USP Uso do solo amazônico, liderado pela UNIR Ruas de POA, liderado pela PUC-RS HIV Brasileiro, liderado pela LNCC/UFRJ Saúde em Recife, liderado pelo UFPE/CESAR

42 © 2004 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Muito Obrigado! Mais em www.ourgrid.org