Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory.

Apresentação em tema: "Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory."— Transcrição da apresentação:

1 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 1 Grid@inesc-id João Leal Tiago Luís Orientador: David Matos

2 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 2 Indice –O que é uma Grid Exemplo de computação em Grid –Condor Constituição do Condor Como usar o Condor Resultados obtidos –Globus Interacção Globus / Condor –Trabalho Realizado –No Futuro

3 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 3 O que é uma Grid? –A computação em Grid é uma forma de computação distribuída que permite a partilha e coordenação de recursos para a resolução de problemas complexos, seja porque são de grande escala ou porque envolvem o processamento intensivo de dados –A tecnologia associada a uma Grid permite, assim, que organizações geograficamente dispersas partilhem recursos computacionais, de armazenamento, ou mesmo aplicações –Apesar de ter dado grandes passos no passado recente, a partilha de recursos em larga escala ainda não é uma realidade em muitas áreas

4 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 4 Exemplo de computação em Grid –O projecto SETI@home é um exemplo de um projecto de computação em Grid que utiliza a infra-estrutura BOINC (Berkeley Open Infrastructure for Network Computing) –Milhares de computadores pessoais em todo o mundo, analisam continuamente dados do radiotelescópio de Arecibo em busca de transmissões que evidenciem inteligência extraterrestre

5 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 5 Condor –Permite o desenvolvimento, implementação e avaliação de mecanismos e políticas que suportam High Throughput Computing em ambientes distribuídos. –High Throughput Computing consiste em gerir e explorar de forma eficiente todos os recursos computacionais disponíveis, sendo o seu maior desafio maximizar o número de recursos computacionais acessíveis –Aproveita os recursos computacionais que não estão a ser utilizados e dá-lhes uso, de uma forma transparente para o utilizador

6 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 6 Constituição do Condor Central Manager Execute Only Submit Only Execute and Submit

7 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 7 Como usar o Condor? –Preparar o programa de modo a que as entradas e saídas sejam interactivas –Escolher o universo –Standard –Vanilla –Grid –Criar o ficheiro de submissão –Submeter o trabalho /opt/condor/bin/condor_submit fib.condor Submitting job(s). Logging submit event(s). 1 job(s) submitted to cluster 170.

8 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 8 Ficheiro de submissão –Código: https://www.l2f.inesc-id.pt/~tmcl/apresentacao/fib.c –Ficheiro de Submissão: fib.condor Executable = fib Universe = vanilla Transfer_files = ALWAYS Output = fib.out.$(CLUSTER)-$(PROCESS) Error = fib.err.$(CLUSTER)-$(PROCESS) Log = fib.log Requirements = (Arch == "INTEL" || Arch == "x86_64") Queue

9 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 9 Gestão do trabalho –Verificação do estado do trabalho /opt/condor/bin/condor_q ID OWNER SUBMITTED RUN_TIME ST PRI SIZE CMD 170.0 tmcl 5/19 17:20 0+00:00:00 R 0 0.0 fib 1 jobs; 0 idle, 1 running, 0 held –Verificação do estado da Pool /opt/condor/bin/condor_status Name OpSys Arch State Activity LoadAv Mem ActvtyTime vm1@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:45:09 vm2@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 1+20:05:25 vm1@wc02.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:50:09... vm2@wc16.l2f. LINUX X86_64 Unclaimed Idle 0.000 1632 1+20:04:54 Total Owner Claimed Unclaimed Matched Preempting Backfill INTEL/LINUX 21 0 0 21 0 0 0 X86_64/LINUX 7 0 0 7 0 0 0 Total 28 0 0 28 0 0 0

10 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 10 Grid@l2f –Página: https://grid.l2f.inesc-id.pt/ –Constituída por: 16 máquinas: wcs Anubis Ronin Alex

11 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 11 Grid@inesc-id –Página: http://grid.inesc-id.pt/ –Constituída por: 22 máquinas: 3.2 MHz P4 mem = 1GB

12 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 12 –Processamento do jornal Público cada trabalho submetido na Grid consistia na análise de uma parcela de dados do jornal –Ficheiro de Submissão Executable = /afs/l2f.inesc-id.pt/home/david/public/tmp/cetempublico1.pl Universe = vanilla Output = cetempublico1-palavroso-marv.out.$(CLUSTER)-$(PROCESS) Error = cetempublico1-palavroso-marv.err.$(CLUSTER)-$(PROCESS) Transfer_files = ALWAYS Log = cetempublico1.log Requirements = (Arch == "INTEL" || Arch == "x86_64") Queue Resultados obtidos na Grid@l2f

13 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 13 –Edição de Vídeo cada trabalho submetido na Grid era responsável por uma parcela do vídeo o algoritmo fazia poucos acessos ao disco, consistindo principalmente em cálculo o trabalho que era feito em 34 dias demorou 2 dias na Grid –Ficheiro de Submissão Executable = /home/u00150/work/vitra/sim_vitra_launch.sh Universe = vanilla Input = fib.in.$(PROCESS) Output = fib.out.$(CLUSTER).$(PROCESS) Error = fib.err.$(CLUSTER).$(PROCESS) Log = fib.$(CLUSTER).log Notification = Error Queue Resultados obtidos na Grid@inesc-id

14 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 14 Globus –Fornece a tecnologia para construir uma Grid, que permite a partilha de poder computacional e informação, de forma segura, com múltiplas instituições sem comprometer a autonomia local –Inclui software para: segurança (administração de certificados, autenticação e autorização) monitorização, gestão e descoberta de informação (GridFTP e RFT) gestão dos recursos (GRAM) detecção de faltas suporta interacção via web services e o seu deploy (implementação em C, Java e Python)

15 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 15 Interacção Globus / Condor Head Node (Globus) Execute Node Firewall Submit Node Internet Queue Job 1 Job 2 … Batch System

16 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 16 Trabalho Realizado -Perceber a arquitectura do Globus Toolkit e a construção de Web Services -Instalação e configuração do Globus Toolkit 4.0.1 -Instalação e configuração do Condor no L2F https://grid.l2f.inescid.pt/wiki/index.php/Introduction_to_the_Globus_Toolkit_4 https://grid.l2f.inesc-id.pt/wiki/index.php/Globus_Toolkit_4 https://grid.l2f.inesc-id.pt/wiki/index.php/Grid%40L%C2%B2F

17 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 17 No Futuro -Extender a arquitectura do Galinha para incluir uma interface para Grid Services, de modo a que os componentes e dados possam ser geograficamente distribuídos -Para tal é necessário um conjunto de protocolos middleware, como os fornecidos pelo Globus

18 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 18 Fim Dont ask what can the Grid do for me?" ask what can I do with a Grid?

19 Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa technology from seed L 2 F - Spoken Language Systems Laboratory 19 technology from seed L 2 F - Spoken Language Systems Laboratory