Estudo da plataforma OurGrid para construção de Grids Marcelo Veiga Neves

Apresentação em tema: "Estudo da plataforma OurGrid para construção de Grids Marcelo Veiga Neves"— Transcrição da apresentação:

1 Estudo da plataforma OurGrid para construção de Grids Marcelo Veiga Neves mvneves@inf.ufrgs.br

2 Roteiro Introdução Arquitetura Instalação Porte da aplicação NQueens Testes realizados Plataforma relacionada: P3 Conclusão

3 Introdução OurGrid é um free-to-join peer-to-peer grid Desenvolvido no LSD/UFCG e é apoiado pela HP (Hewlett-Packard) Em produção desde 2004 Os recursos computacionais são providos por recursos ociosos dos participantes (como no SETI@home) Somente aplicações Bag-of-Tasks (BoT) Diferença: –Todos participantes podem executar no grid –Rede de Favores = quem contribui mais tem mais direito a recursos

4 Estado do OurGrid Hoje Wed Dec 13 07:58:46 BRT 2006

5 Arquitetura

6 Instalação Pré-requisitos: –Java (J2SE) 1.5.x –Não necessita executar como super-usuário (e nem aconselha-se) –Escolher portas que ainda não estejam em uso ;-) –Peer machine deve ter IP público e poder receber conexões pela Internet (Firewall deve liberar porta do OurGrid)

7 Instalação No servidor do site (Peer machine): –Download peer-3.3.tar.gz –tar xzf peer-3.3.tar.gz –cd peer/ –Editar o arquivo peer.properties (peer.name, peer.port, peer.joincommunity, etc.) –Iniciar serviço:./bin/peer start –Adicionar descrição do site (grid machines):./bin/peer setgums my_site.sdf

8 Instalação Exemplo de arquivo de descrição: gumdefaults: site : integridade type : ualinux os : linux processorfamily : IA32 mem : 512 remExec : ssh -x $machine $command copyFrom : scp $machine:$remotefile $localfile copyTo : scp $localfile $machine:$remotefile port : 3080 gum: name: compute-1-0 gum: name: compute-1-1 gum: name: c1-0 port: 3082 gum: name: c1-1 port: 3082

9 Instalação Nos nós trabalhadores (Grid machines): –Instalação automática via peer (não funcionou nos meus testes!) –Download useragent-3.3.tar.gz –tar xzf useragent-3.3.tar.gz –cd useragent/ –Editar arquivo ua.properties (ua.name, ua.port, ua.idlenessdetector, etc.) –Iniciar o serviço:./useragent start

10 Instalação No cliente (MyGrid): –Download mygrid-3.3.tar.gz –tar xzf mygrid-3.3.tar.gz –cd mygrid/ –Iniciar o serviço: bin/mygrid start –Adicionar a descrição dos peers: bin/mygrid setgrid my_peer.gdf # exemplo de descricao de peer peer: name: integridade.inf.ufrgs.br label: GPPD's peer port: 3081

11 Instalação Problema: –Peer demora para encontrar as grid machines –Motivo: OurGrid utiliza JXTA para descoberta de recursos

12 Porte da aplicação NQueens Mesma aplicação utilizada nos testes do XtremWeb e BOINC –./nqueens N task Geração de um arquivo de Job para processar todas as tarefas Submissão: –./bin/mygrid addjob nqueens-18.sdf

13 Exemplo de arquivo de Job job : label : nqueens18 task : init : put./nqueens nqueens remote :./nqueens 18 0 > output-$JOB.$TASK final : get output-$JOB.$TASK output-$JOB.$TASK task : init : put./nqueens nqueens remote :./nqueens 18 1 > output-$JOB.$TASK final : get output-$JOB.$TASK output-$JOB.$TASK task : init : put./nqueens nqueens remote :./nqueens 18 2 > output-$JOB.$TASK final : get output-$JOB.$TASK output-$JOB.$TASK...

14 Geração dos Jobs #!/bin/sh N=18 num_tasks=1186 echo "job :" echo "label : nqueens$N" let num_tasks-- for i in `seq 0 $num_tasks` do echo echo "task :" echo "init : put./nqueens nqueens" echo "remote :./nqueens $N $i > output-\$JOB.\$TASK" echo "final : get output-\$JOB.\$TASK output-\$JOB.\$TASK" done

15 Monitoração da execução $./bin/mygrid status | more Starting to print grid status. MyGrid 3.3.1 is up and running. Peers: GPPD's peer => rmi://integridade:3081/LOCAL_ACCESS [ UP ] Received Grid Machines: compute-1-1:3080@integridade:3081 compute-1-0:3080@integridade:3081 c1-1:3082@integridade:3081 c1-0:3082@integridade:3081 Jobs: Job 23: nqueens19 [RUNNING] Task 1: [FINISHED] Replica 1: [FINISHED] - assigned to compute-1-1:3080@integridade:3081 Task 2: [RUNNING] Replica 1: [RUNNING] - assigned to c1-1:3082@integridade:3081 Task 3: [RUNNING] Replica 1: [RUNNING] - assigned to c1-0:3082@integridade:3081 Task 4: [RUNNING] Replica 1: [RUNNING] - assigned to compute-1-0:3080@integridade:3081 Task 5: [RUNNING] Replica 1: [RUNNING] - assigned to compute-1-1:3080@integridade:3081 Task 6: [UNSTARTED] Task 7: [UNSTARTED]...

16 Ambiente de Execução Cluster Corisco –4 nós Dual Pentium 3 1GHz com 512 MB –1 servidor e 3 GuMs (1 por nó do cluster) –Rede Fast Ethernet Cluster Integridade –3 nós Dual Pentium 4 3.2 GHz com 512 MB –1 servidor e 4 GuMs (2 por nó do cluster) –Rede Gigabit Ethernet

17 Resultados Corisco NSeqüencial (min)Tempo paral. (min) 1815,348,17 19131,8942,04 20948.97 (15,81 horas)319,76 (5,33 horas)

18 Resultados Integridade Tempo de médio de processamento NSeq.XtremWebBOINCOurGrid 18 (1 a 1)4min35s3h12min35min2min30s 18 (10 a 10)15min12s3min30s1min42s 18 (30 a 30)8min10s?1min39s 19 (1 a 1)35min4s4h50min37min13min13s 19 (10 a 10)31min22s16min12min34s 19 (30 a 30)26min22s?

19 P3 P3 = Personal Power Plant Desenvolvido em conjunto pelo Grid Technology Research Center (GTRC) e National Institute of Advanced Industrial Science and Technology (AIST), Japão Permite a execução de programas que comunicam entre os peers (não apenas BoT) Esforço para implementar um middleware puramente sobre JXTA Problemas: –Necessidade de interface gráfica (servidor X) –Necessidade de implementação do escalonador –API pouco (ou nada) documentada

20 Conclusão OurGrid apresentou melhor desempenho –Realiza comunicação com eficiência –Simples e funcional! Esta em produção desde 2004 –Problemas: descoberta de recursos deveria ser configurável Não permite a descrição de nós biprocessado Comparação com BOINC e XtremWeb –BOINC não foi projetado para comunicação em rede local Pequena quantidade de dados, grande tempo de processamento (Ex: SETI@home) –XtremWeb (?) Apresentou pior desempenho

21 Referências OurGrid: http://www.ourgrid.org/http://www.ourgrid.org/ P3: http://p-three.sourceforge.net/http://p-three.sourceforge.net/ OurGrid Administrator Guide: http://www.ourgrid.org/twiki- public/bin/view/OG/ManualAdministrator3_3 http://www.ourgrid.org/twiki- public/bin/view/OG/ManualAdministrator3_3 OurGrid User Guide: http://www.ourgrid.org/twiki- public/bin/view/OG/ManualUser3_3http://www.ourgrid.org/twiki- public/bin/view/OG/ManualUser3_3 Labs of the World, Unite!!! http://www.ourgrid.org/twiki- public/pub/OG/OurPublications/LabsoftheWorldUnitev19. pdfhttp://www.ourgrid.org/twiki- public/pub/OG/OurPublications/LabsoftheWorldUnitev19. pdf OurGrid Web Status 3.3: http://status.ourgrid.org/http://status.ourgrid.org/