Grid Computing Prof. Dr. Cláudio F. R. Geyer Instituto de Informática – UFRGS.

Apresentação em tema: "Grid Computing Prof. Dr. Cláudio F. R. Geyer Instituto de Informática – UFRGS."— Transcrição da apresentação:

1 Grid Computing Prof. Dr. Cláudio F. R. Geyer Instituto de Informática – UFRGS

2 Grid Computing 2 Histórico Pessoal Processamento Paralelo e Distribuído Projeto HetNOS Ian Foster e Carl Kesselman: Grenoble (1996), SBAC, PDPA, Global Supercomputing,... CC++ Grid (livro, eds I. Foster e C. Kesselman) Projeto HEP (2000) Projeto ISAM GRID: combina SD e HPC

3 Grid Computing 3 Sumário Introdução ao Grid Computing Uma Experiência Real: Globus Toolkit Grid Computing no Brasil

4 4 Introdução ao Grid Computing

5 Grid Computing 5 Histórico primeira proposta em 1989, por Larry Smarr do projeto CASA (USA) metacomputing = compartilhamento, ação em comum. a partir de 1995, começam a surgir propostas de ferramentas para computação distribuída na Web. FAFNER e I-WAY atualmente, centenas de universidades e empresas ao redor do mundo estão envolvidas em projetos nessa área.

6 Grid Computing 6 Conceitos em Grid Computing Metacomputador/Grid Grid problem Organizações virtuais Protocolos intergrid Computação in home Grid X HPC Comunidade Grid

7 Grid Computing 7 Grid Problem Coordenação Compartilhamento de recursos Solução de problemas Diversas organizações virtuais de multiinstituições Recursos e VO espalhados geograficamente Não há controle central Não há conhecimento total Confiança mútua entre as VOs

8 Grid Computing 8 Tecnologias atuais SOR (Windows 2000 server, Linux de rede,...) Web Servidores de aplicações Servidores de armazenamento Servidores de cpu (ciclos) Middlewares clássicos e novos (DCE, CORBA, J2EE,.Net,...) Não atendem (boa parte) os requisitos

9 Grid Computing 9 Organizações virtuais Servidores de aplicações, servidores de armazenamento, servidores de cpu, e consultores Engajados por um fabricante de carros na avaliação de uma nova fábrica Membros de de um consórcio industrial projetando e avaliando uma nova aeronave Equipe de gerência de crises (catástrofes, eventos) planejando a resposta a um novo tipo de evento (ataque de 11/setembro) Diversos departamentos de pesquisa em física tratando diversos problemas relacionados, sobre a mesma base de dados

10 Grid Computing 10 Um exemplo: solução do NUG30 NUG30 quadratic assignment problem Colaboração informal entre matemáticos, cientistas e pesquisadores em computação Condor-G conseguiu 3.46E8 segundos de cpu em 7 dias (pico: 1009 processadores) nos EUA e Itália (8 sites)

11 Grid Computing 11 Principais Componentes Dispositivos de Fábrica clustersarmazenamentoinstrumentos... recursos compartilhados entre OV SObibliotecasTCP, UDP, IP... gerenciadores de recursos locais serviços básicos comunicação segurançainformação acesso a dados QoS Middleware ferramentas e ambientes de desenvolvimento linguagensdepuradoresORBsWeb Ferramentas bibliotecas... aplicações e portais científicasengenhariaPSE Aplicações colaborativas... Web based

12 Grid Computing 12 Principais Componentes Dispositivos de fábrica recursos locais compartilhados dentro do grid Middleware fornecimento de serviços básicos para a utilização dos recursos do grid Ferramentas desenvolvimento de ambientes para a construção de aplicações para grids Aplicações diversidade de requisitos, multidisciplinariedade

13 Grid Computing 13 Princípios Usar protocolos padrões existentes Usar soluções comuns (padrões) principalmente as locais Escalonadores, servidores de arquivos,... Protocolos e API bem definidos Protocolo: interoperabilidade API: portabilidade Simples (vide IP, TCP) Diferenciar API locais e remotas Padronizar

14 Grid Computing 14 Grid Computing: Principais Aspectos Modelo de programação Gerência de recursos Segurança Informação Acesso remoto a dados Tolerância a falhas Análise de desempenho e QoS Gerência de executáveis,...

15 Grid Computing 15 Grid Computing: Principais Aspectos Modelo de programação aplicações devem ser flexíveis, tolerantes a falhas e adaptadas à latência de comunicação entre os recursos do grid cada aplicação deve expor suas necessidades computacionais e expectativas referentes a desempenho, confiabilidade, etc. auxílio na alocação de recursos deve-se prever o uso de diferentes protocolos, modelos de comunicação e ferramentas

16 Grid Computing 16 Gerência de recursos cadastro configuração busca (descoberta) alocação monitoramento Grid Computing: Principais Aspectos

17 Grid Computing 17 Motivação para segurança Informações sensíveis e recursos de alto valor Delegação é necessária Protocolos padrões atuais não satisfazem Grid Computing: Principais Aspectos

18 Grid Computing 18 Grid Computing: Principais Aspectos Segurança cadastro de usuários autenticação única (single sign on) respeito às políticas proprietárias (uso e acesso) de cada recurso estabelecimento de relações e domínios de confiança emprego de criptografia

19 Grid Computing 19 Gerenciamento de Informações Serviços para registro e obtenção de informações sobre a estrutura, os recursos, os serviços e o estado de cada componente dentro do grid. Forte interação com os serviços de alocação e descoberta de recursos Dinâmicas e estáticas (totalmente: não existem) Onde existe um cluster com 32 P4 > 1.2 dual? Qual o estado de ocupação do SP2 com 128 nós? Grid Computing: Principais Aspectos

20 Grid Computing 20 Acesso remoto a dados necessidade de acesso a arquivos distribuídos entre vários servidores e/ou bancos de dados serviço que forneça um espaço de nomeação global, suporte diferentes protocolos de E/S, exija pouco esforço de programação e permita otimizações, tal como uso de cache replicação Grid Computing: Principais Aspectos

21 Grid Computing 21 Tolerância a falhas natureza dinâmica do grid necessidade de monitoramento do estado de cada recurso (de hardware e software) dentro do grid forte interação com serviços de alocação e escalonamento Grid Computing: Principais Aspectos

22 Grid Computing 22 Análise de desempenho e QoS mecanismos para a avaliação dos serviços prestados pelo grid relação exigências das aplicações X capacidades dos recursos monitoramento de desempenho validação de critérios de alocação Grid Computing: Principais Aspectos

23 Grid Computing 23 Gerência de executáveis armazenamento localização transferência entre recursos suporte à linguagens de scripts Executáveis portáveis Java.Net? Grid Computing: Principais Aspectos

24 Grid Computing 24 Usuários donos de recursos administradores de sistemas desenvolvedores (serviços e ferramentas) usuários finais Grid Computing: Principais Aspectos

25 Grid Computing 25 Grid Computing: Principais Aspectos Aplicações computação distribuída computação de alto desempenho computação sob demanda computação intensiva de dados computação colaborativa

26 Grid Computing 26 Taxonomia Escalonadores Nimrod/G AppLes Condor/G Ninf DISCWorld SILVER ST-ORM PC 2 Portais UNICORE XCAT JiPANG PUNCH Economia Grace CPM Mariposa FORTH Share Meta D´Agent Data grids CERN GriPhyN Particle Physics DIDC http://www.gridcomputing.com/ Grid Computing: Principais Aspectos

27 Grid Computing 27 Sistemas XtremWeb Javelin MILAN HARNESS PUNCH MoBiDiCK MetaNEOS MultiCluster Taxonomia Ambientes MetaMPI DCE GrADS Java CoG Kit ProActive PDC REDISE JACO3 Cactus Middleware Globus Legion NetSolve GRACE Testbeds Polder NASA IPG NPACI DAS GUSTO SF-Express distributed.net SETI@home Grid Computing: Principais Aspectos

28 Grid Computing 28 Global Grid Forum Global Grid Forum: Desenvolvimento de protocolos e APIs padrões para computação Grid www.gridforum.org 2 ou mais workshops anuais Centenas de participantes

29 Grid Computing 29 Referências: conceituais/surveys checkpoint list: http://www.gridtoday.com/02/0722/100136.html BUYYA - {The Grid}: International Efforts in Global Computing : http://www.cs.mu.oz.au/~raj/papers/TheGrid.pdf ROURE, - {T}he Evolution of the {G}rid : http://www.semanticgrid.org/documents/evolution/evo lution.pdf NEMETH, - {A} comparison of conventional distributed computing environments and computational grids : http://www.mathcs.emory.edu/harness/pub/general/zs olt1.ps.gz

30 30 Uma Experiência Real: Globus Toolkit

31 Grid Computing 31 Globus Objetivos Modelo, arquitetura, protocolos, API,... Protótipo: Globus Metacomputing Toolkit Avaliação de aplicações reais GUSTO (testbed) Locais Argonne, DOE, Chicago Caltech e USC (Los Angeles, CA) Ian Foster e Carl Kesselman Um dos mais usados e referenciados Confunde-se com Grid (arquitetura) Projetos europeus: uso do Globus

32 Grid Computing 32 Uma Experiência Real cluster aplicações paralelas/distribuídas (ex. SF-Express) Comunicação (Nexus) Gerência de recursos (GRAM - DUROC, RSL) Segurança e autenticação (GSI) Monitoramento (HBM) Acesso remoto a dados (GASS, GridFTP, RIO) Gerência de executáveis (GEM) Globus Metacomputing Toolkit (GMT) Internet/Rede de comunicação Informação (MDS,GRIS, GIIS) GUSTONASA IPGNPACIData Grid

33 Grid Computing 33 Uma Experiência Real Princípios Camadas Protocolos e APIs Módulos opcionais Uso de soluções padrões Locais Comunicação atual: MPICH

34 Grid Computing 34 Uma Experiência Real GRAM - Globus Resource Allocation Manager broker aplicação MDS alocador de recursos (DUROC) GRAM LSF Easy-LL NQE RSL consultas e informações especialização da RSL RSL estendida RSL estendida Sistema de gerência local

35 Grid Computing 35 Uma Experiência Real Exemplos Executar MyProg com 4 a 6 cpus, com mínimo de 128 MBytes, até 4 horas Versão futura: uso de novos serviços Web (SOAP,...)

36 Grid Computing 36 Uma Experiência Real Comunicação - Nexus abstrações elos de comunicação (startpoint + endpoint) EP SP EP 012 RSR

37 Grid Computing 37 Uma Experiência Real MDS - Metacomputing Directory Service funcionalidades para registro e obtenção de informações baseado no protocolo LDAP + agentes de monitoramento (GRAM) GRIS - Grid Resource Information Service consulta de atributos de recursos GISS - Grid Index Information Service junção de serviços GRIS para alocação e descoberta de recursos descoberta de recursos (Jini) GRIS e GISS usam MDS

38 Grid Computing 38 Uma Experiência Real GSI - Globus Security Infrastructure certificado usuário proxy chave pública certificado Kerberos comunicação autenticada certificado Globus certificado GSI GRAM

39 Grid Computing 39 Uma Experiência Real Protocolos GIS Em padronização Kerberos e SSL não satisfazem Grid

40 Grid Computing 40 Uma Experiência Real HBM - Heartbeat Monitor HBMCL sistema HBMCL aplicação 1 HBMLM registro Nó A HBMCL sistema HBMCL aplicação 2 HBMLM registro Nó B HBMDC sistema HBMDC aplicação 1 Nó C HBMDC aplicação 2 Nó D relatório

41 Grid Computing 41 Uma Experiência Real GASS - Globus Access to Secondary Storage P1 P2 P3 P4 BD arquivo 0864 arquivo 9629 arquivo 7823 cache de arquivo Open for read only: http://dsl.mcs.anl.gov/~coords Open for read only: http://dsl.mcs.anl.gov/~coords Open for read & write: x-gass://mcs.anl.gov:6543/~/data1 Open for read only: http://dsl.mcs.anl.gov/~coords Open for read & write: ftp://ftp.isi.edu/globus/data2 servidor HTTP servidor FTP servidor GASS Open for appending: x-gass://mcs.anl.gov:6543/log

42 Grid Computing 42 Uma Experiência Real Gusto Início: 1998 17 sites, 330 computadores, 3600 cpus 2 Tflop/s EUA, Suécia, Havaí, Alemanha,... Muito bem avaliados MDS, HBM 10 grupos de aplicações Simulações científicas, análises em tempo-real, visualização remota,...

43 43 Grid Computing no Brasil

44 Grid Computing 44 Summary Brazilian Grid DOAP: Grid middleware adaptative scheduling PRIMOS: high performance Java VIC ++: adaptative VIC for Access Grid Other Brazilian Grid Projects Conclusion

45 Grid Computing 45 Brazilian Grid First national meeting organized by CNPq october 2001 Finep members of CENAPADs application users (HEP, LNCC,...) researchers on high-performance computing RNP: research national networking

46 Grid Computing 46 Brazilian Grid Goals promote the use of Grid 3 groups hw infra-structure networking, systems (clusters),... sw infra-structure middleware, accounting, security,... applications Some initial propositions (documents)

47

48

49

50

51 Grid Computing 51 DOAP Grid-like middleware Object oriented programming Adaptive scheduling Mobile computing

52 Grid Computing 52 DOAP Concerns System Heterogeneity GRID Computing CLUSTER Computing System's Components Availability Mobility (Hardware and Software) Adaptation (Aplication and System)

53 Grid Computing 53 DOAP: a pervasive view A pervasive view in GRID Computing Mobile Computing Wireless GRID Computing Wide-area Meta-computing High performance equips. Adaptability High heterogeneity

54 Grid Computing 54 GRID Computing in DOAP Adaptive Behavior Development Decisions Execution Decisions

55 Grid Computing 55 GRID Computing in DOAP Application RMS Agreement Band Focus in Adaptive Behavior Resource Demand

56 Grid Computing 56 DOAP Architecture Holoparadigm Multiparadigm; Blackboards; Mobility.

57 Grid Computing 57 Mobility: Hardware and Software Language level adaptation constructors DOAP Architecture ISAMadapt – Infra-Estrutura de Suporte às Aplicações Móveis

58 Grid Computing 58 DOAP Architecture High Distributed Applications Execution level adaptation mechanisms EXEHDA – Execution Environment for High Distributed Applications

59 Grid Computing 59 DOAP Architecture Proposals for object: Migration; Optmized communication; Monitoring PRIMOS – PRIMitives for Object Scheduling

60 Grid Computing 60 Java versus GRID Benefits of Java to GRID environments: Code portability simplifies assumptions about the heterogeneous execution environment Object-oriented programming model straightforward program partitioning Fast learning curve structured language, no pointers, programming less error prone

61 Grid Computing 61 PRIMOS: Java meeting the GRID PRIMOS extends Java with mechanisms to support: remote instantiation and object migration deal with code deployment and accounting optimized communication primitives access to specialized hardware features not available to usual Java applications distributed system utilization: probe & publishing construction of inter-object communication profiles

62 Grid Computing 62 VIC ++ VIC – Video Conferencing Tool Access Grid Project allows remote collaboration among groups; used to realization of classes and distributed seminars, remote presence in panels and discussions, virtual meetings and Grid based complex demonstrations;

63 Grid Computing 63 VIC ++ VIC ++ is an extension of VIC developed with two main targets: To introduce and adaptability algorithm that will adjust the VIC configurations to the network conditions, reducing the amount of work that the node operator has to perform during the sessions; To expand the statistics generator of the VIC, in order to provide more data to the researcher.

64 Grid Computing 64 Cooperações ( informais ) Caltech, Pasadena, CA Grupo HEP Desenvolvimento de aplicações e serviços específicos Harvey Newman NERSC, Berkeley, CA Horst Simon: SBAC 1995, missão 1998 LBL, DOE Acordo de cooperação com IBM Grande parque de supercomputadores Multidisciplinar

65 Grid Computing 65 Other Brazilian Grid Projects MultiCluster GridGene IC Grid OpenGrid Remarks: it is not a complete list There is also a proposal of a national Grid

66 Grid Computing 66 Other Brazilian Grid Projects MultiCluster II/UFRGS Contact: Prof. Philippe O.A. Navaux It aims to efficiently integrate different cluster-based architectures Myrinet, SCI, Fast Ethernet, …

67 Grid Computing 67 Other Brazilian Grid Projects GridGene UFRJ, LCC/MCT, UFPB/Campina Grande Contact: Prof. Paulo Bisch It aims to support genome analysis through development of parallel and distributed software for Grid environments

68 Grid Computing 68 Other Brazilian Grid Projects IC Grid UFF Contact: Prof. Vinod Rebello It will create a mini-grid testbed environment for the design and development of grid-base middleware

69 Grid Computing 69 Other Brazilian Grid Projects OpenGrid UFPB Contact: Prof. Walfredo Cirne It provides a global execution environment It is distributed as a free software

70 Grid Computing 70 Other Brazilian Grid Projects Grid Brasil Proposal: build a national (Brazil) Grid and Virtual Organizations Nowadays there are: six CENAPADs (HPC centers) a SINAPAD (to integrate these centers) This structure can be the starting point of a national Grid

71 Grid Computing 71 More Grid Projects at Brazil Grid Brasil

72 Grid Computing 72 Conclusions Several projects on Grid software adaptive scheduling Java HP programming Access Grid/Vic++ Multicluster Global execution environment Grid testbed for new Grid middleware

73 Grid Computing 73 Conclusions At least two important Grid applications HEP Genome Brazilian Grid group Sinapad Grid

74 Grid Computing 74 Conclusões gerais Grid Tecnologia necessária a diversas aplicações Diversas e variadas soluções Globus, Condor, Legion,... Necessidade de protocolos e API padronizados Muito ambicioso (?): inúmeros serviços Concorrência com evolução de outras tecnologias Web: protocolos, serviços, metadados,... B2B J2EE,.Net, CORBA (?),... Windows 2000 e XP server, Linux-rede,... Servidores de armazenamento, cpu, aplicações,... Problemas similares => soluções similares, concorrentes