Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouDerek Real Alterado mais de 10 anos atrás
1
1 Introdução ao Grid Computing
2
Grid Computing Autoria Autores Cláudio Geyer 1a versão: 2003 Revisão (2006) Diego Gomes Eder Fontoura Patrícia Kayser Local PPGC, II-UFRGS
3
Grid Computing 3 Sumário Introdução a Grid Computing Grid Computing no Brasil Em 2002/2003 Não revisado
4
Grid Computing 4 Histórico primeira (?) proposta em 1989, por Larry Smarr do projeto CASA (USA) metacomputing = compartilhamento, ação em comum Projeto Condor Iníciado em 1988 http://www.cs.wisc.edu/condor/background.html support High Throughput Computing (HTC) on large collections of distributively owned computing resourcesHigh Throughput Computing (HTC)
5
Grid Computing Histórico a partir de 1995, começam a surgir propostas de ferramentas para computação distribuída na Web FAFNER e I-WAY Final da década de 1990 Surgimento do projeto/mw Globus Edição do livro Grid Computing, eds. Foster e Kesselman atualmente, centenas de universidades e empresas ao redor do mundo estão envolvidas em projetos nessa área
6
Grid Computing Conceitos e Termos Diversos conceitos, termos e definições Metacomputador/Grid HTC: High Throughput Computing Global Computing Grid problem Organizações virtuais Protocolos intergrid Computação in home Grid X HPC Comunidade Grid
7
Grid Computing Definições Grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities I. Foster e C. Kesselman, 1998 Grids are persistent environments that enable software applications to integrate instruments, displays, computational and information resources that are managed by diverse organizations in widespread locations GGF 2002
8
Grid Computing Definições Grid is a type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed "autonomous" resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements http://www.cs.mu.oz.au/~raj/GridInfoware/gridfa q.html http://www.cs.mu.oz.au/~raj/GridInfoware/gridfa q.html Principal autor: Buya Preocupação com aspectos de custos
9
Grid Computing Definições Three points checklist: Grid is a system that: (1) coordinates resources that are not subject to centralized control... (2)... using standard, open, general-purpose protocols and interfaces... (3)... to deliver nontrivial qualities of service I. Foster, 2002 Não usa termos (características) como; Largamente distribuídos Sw ou mw próprio Diversas organizações (implícito?
10
Grid Computing 10 Grid Problem Coordenação distribuída, cooperativa Compartilhamento de recursos Solução de problemas (aplicações) Diversas organizações virtuais de multi-instituições Recursos e VO espalhados geograficamente Não há controle central Não há conhecimento total Confiança mútua entre as Vos Qualidade de entrega Gerência de recursos dinâmica
11
Grid Computing 11 Tecnologias convencionais Tecnologias distribuídas convencionais SOR (Windows 2000 server, Linux de rede,...) Web Servidores de aplicações Servidores de armazenamento Servidores de cpu (ciclos) Middlewares clássicos e novos (DCE, CORBA, J2EE,.Net, Web Services...) Não atendem (boa parte) os requisitos
12
Grid Computing 12 Organizações virtuais Servidores de aplicações, servidores de armazenamento, servidores de cpu, e consultores Engajados por um fabricante de carros na avaliação de uma nova fábrica Membros de de um consórcio industrial projetando e avaliando uma nova aeronave
13
Grid Computing Organizações virtuais Equipe de gerência de crises (catástrofes, eventos) planejando a resposta a um novo tipo de evento (ataque de 11/setembro) Diversos departamentos de pesquisa em física tratando diversos problemas relacionados, sobre a mesma base de dados Base de dados heterogênea, distribuída
14
Grid Computing 14 Um exemplo: solução do NUG30 NUG30 quadratic assignment problem Description of the Quadratic Assignment Problem In a standard problem in location theory, we are given a set of n locations and n facilities, and told to assign each facility to a location. Faci -> Locj; i, j: 1 a n
15
Grid Computing 15 Um exemplo: solução do NUG30 NUG30 quadratic assignment problem Description of the Quadratic Assignment Problem To measure the cost of each possible assignment- --there are n! of them!---we multiply the prescribed flow between each pair of facilities by the distance between their assigned locations, and sum over all the pairs. Flow(faci, facj) * Distance(locfi, locfj))
16
Grid Computing Um exemplo: solução do NUG30 Description of the Quadratic Assignment Problem Our aim is to find the assignment that minimizes this cost, and this problem is precisely a quadratic assignment problem.
17
Grid Computing Um exemplo: solução do NUG30 An Example of Combinatorial Optimization
18
Grid Computing Um exemplo: solução do NUG30 NUG30: n = 30 Solução Colaboração informal entre matemáticos, cientistas e pesquisadores em computação Condor-G conseguiu 3.46E8 segundos de cpu em 7 dias (pico: 1009 processadores) nos EUA e Itália (8 sites) Em 2000 http://www- unix.mcs.anl.gov/metaneos/nug30/
19
Grid Computing 19 Dispositivos de Fábrica clustersarmazenamentoinstrumentos... recursos compartilhados entre OV SObibliotecasTCP, UDP, IP... gerenciadores de recursos locais serviços básicos comunicação segurançainformação acesso a dados QoS Middleware ferramentas e ambientes de desenvolvimento linguagensdepuradoresORBsWeb Ferramentas bibliotecas... aplicações e portais científicasengenhariaPSE Aplicações colaborativas... Web based Arquitetura geral proposta por Foster Principais Componentes (Foster)
20
Grid Computing 20 Principais Componentes Arquitetura Geral Proposta de Foster e Kesselman The Anatomy of the Grid, Intl J. Supercomputer Applications, 2001 www.globus.org/alliance/publications/papers/anatomy. pdf Dispositivos de fábrica recursos locais compartilhados dentro do grid Middleware fornecimento de serviços básicos para a utilização dos recursos do grid Ferramentas desenvolvimento de ambientes para a construção de aplicações para grids Aplicações diversidade de requisitos, multidisciplinariedade
21
Grid Computing 21 Princípios Usar protocolos padrões existentes Usar soluções comuns (padrões) principalmente as locais Escalonadores, servidores de arquivos,... Protocolos e API bem definidos Protocolo: interoperabilidade API: portabilidade Simples (vide IP, TCP) Diferenciar API locais e remotas Padronizar
22
Grid Computing 22 Grid Computing SW: Principais Aspectos Modelo de programação Gerência de recursos Segurança Informação Acesso remoto a dados Tolerância a falhas Análise de desempenho e QoS Gerência de executáveis,...
23
Grid Computing 23 Grid Computing: Principais Aspectos Modelo de programação aplicações devem ser flexíveis aos recursos, tolerantes a falhas e adaptadas à latência de comunicação entre os recursos do grid cada aplicação deve expor suas necessidades computacionais e expectativas referentes a desempenho, confiabilidade, etc. auxílio na alocação de recursos deve-se prever o uso de diferentes protocolos, modelos de comunicação e ferramentas
24
Grid Computing 24 Gerência de recursos cadastro configuração busca (descoberta) alocação monitoramento Grid Computing: Principais Aspectos
25
Grid Computing 25 Motivação para segurança Informações sensíveis e recursos de alto valor Delegação é necessária Protocolos padrões atuais não satisfazem Grid Computing: Principais Aspectos
26
Grid Computing 26 Grid Computing: Principais Aspectos Segurança cadastro de usuários autenticação única (single sign on) respeito às políticas proprietárias (uso e acesso) de cada recurso estabelecimento de relações e domínios de confiança Em uma grade, VOi acredita em VOj Acredita: pode ser parcialmente, condicionalmente emprego de criptografia
27
Grid Computing 27 Gerenciamento de Informações Serviços para registro e obtenção de informações sobre a estrutura, os recursos, os serviços e o estado de cada componente dentro do grid. Forte interação com os serviços de alocação e descoberta de recursos (gerência de recursos) Dinâmicas e estáticas (totalmente: não existem) Onde existe um cluster com 32 P4 > 1.2 dual? Qual o estado de ocupação do SP2 com 128 nós? Grid Computing: Principais Aspectos
28
Grid Computing 28 Acesso remoto a dados necessidade de acesso a arquivos distribuídos entre vários servidores e/ou bancos de dados busca por metadados estáticos e dinâmicos Grid Computing: Principais Aspectos
29
Grid Computing 29 Acesso remoto a dados serviço que forneça um espaço de nomeação global, suporte diferentes protocolos de E/S, exija pouco esforço de programação e permita otimizações, tal como uso de cache replicação Grid Computing: Principais Aspectos
30
Grid Computing 30 Tolerância a falhas natureza dinâmica do grid milhares de recursos 1 recurso deve estar em falha a cada momento necessidade de monitoramento do estado de cada recurso (de hardware e software) dentro do grid forte interação com serviços de alocação e escalonamento Grid Computing: Principais Aspectos
31
Grid Computing 31 Análise de desempenho e QoS mecanismos para a avaliação dos serviços prestados pelo grid relação exigências das aplicações X capacidades dos recursos monitoramento de desempenho validação de critérios de alocação Grid Computing: Principais Aspectos
32
Grid Computing 32 Gerência de executáveis armazenamento localização transferência entre recursos suporte à linguagens de scripts Executáveis portáveis Java.Net? Grid Computing: Principais Aspectos
33
Grid Computing 33 Grid Computing: Principais Aspectos Aplicações computação distribuída computação de alto desempenho computação sob demanda computação intensiva de dados computação colaborativa
34
Grid Computing Considerações finais Ainda alguma diversidade em definições Diferentes arquiteturas conforme objetivos Forum GGF procura desenvolver (ou apoiar) padrões para grids http://www.gridforum.org/
35
Grid Computing 35 Taxonomia Escalonadores Grid Service Broker Nimrod/G AppLes Condor/G Ninf DISCWorld SILVER ST-ORM PC 2 Portais UNICORE XCAT JiPANG PUNCH GridSphere Economia Grace CPM Mariposa FORTH Share Meta D´Agent Data grids CERN GriPhyN Particle Physics DIDC http://www.gridcomputing.com/ Grid Computing: Principais Aspectos
36
Grid Computing 36 Sistemas XtremWeb Javelin MILAN HARNESS PUNCH MoBiDiCK MetaNEOS MultiCluster Taxonomia Ambientes MetaMPI DCE GrADS Java CoG Kit ProActive PDC REDISE JACO3 Cactus Middleware Globus Legion NetSolve GRACE Testbeds Polder NASA IPG NPACI DAS GUSTO SF-Express distributed.net SETI@home Grid Computing: Principais Aspectos
37
Grid Computing 37 Global Grid Forum Global Grid Forum: Desenvolvimento de protocolos e APIs padrões para computação Grid www.gridforum.org 2 ou mais workshops anuais Centenas de participantes
38
Grid Computing 38 Referências: conceituais/surveys checkpoint list: http://www.gridtoday.com/02/0722/100136.html BUYYA - {The Grid}: International Efforts in Global Computing : http://www.cs.mu.oz.au/~raj/papers/TheGrid.pdf ROURE, - {T}he Evolution of the {G}rid : http://www.semanticgrid.org/documents/evolution/evolution.pdf NEMETH, - {A} comparison of conventional distributed computing environments and computational grids : http://www.mathcs.emory.edu/harness/pub/general/zsolt1.ps.gz
39
Grid Computing Revisão Motivação?
40
Grid Computing Revisão Motivação? Cooperação em aplicações específicas Compartilhamento de recursos Aumento da quantidade de recursos Cpu, memória, armazenamento,... Dispositivos especiais, caros Maior disponibilidade Tudo isto a um menor custo
41
Grid Computing Revisão Histórico
42
Grid Computing Revisão Histórico Uso do termo: 1989 Experiências ad-hoc: década de 90 Condor: início do projeto em 1988 Globus: 1995 Legion
43
Grid Computing Revisão Definição de grade
44
Grid Computing Revisão Definição de grade Largamente distribuída Diversas organizações Sem controle centralizado Às vezes hierárquico (HEP) Compartilhamento de recursos Interface (parcialmente) homogênea
45
Grid Computing Revisão Definição de grade Oferecendo Segurança Maior desempenho Maior disponibilidade Com QoS
46
Grid Computing Revisão Problemas de uma grade Alta heterogeneidade nos recursos especialmente no hw (cpu, memória,...) Alta heterogeneidade na rede: latência e banda Alta heterogeneidade no sw local SO, gerência de recursos, escalonadores,... Segurança
47
47 Grid Computing no Brasil
48
Grid Computing 48 Summary Brazilian Grid DOAP: Grid middleware adaptative scheduling PRIMOS: high performance Java VIC ++: adaptative VIC for Access Grid Other Brazilian Grid Projects Conclusion
49
Grid Computing 49 Brazilian Grid First national meeting organized by CNPq october 2001 Finep members of CENAPADs application users (HEP, LNCC,...) researchers on high-performance computing RNP: research national networking
50
Grid Computing 50 Brazilian Grid Goals promote the use of Grid 3 groups hw infra-structure networking, systems (clusters),... sw infra-structure middleware, accounting, security,... applications Some initial propositions (documents)
55
Grid Computing 55 DOAP Grid-like middleware Object oriented programming Adaptive scheduling Mobile computing
56
Grid Computing 56 DOAP Concerns System Heterogeneity GRID Computing CLUSTER Computing System's Components Availability Mobility (Hardware and Software) Adaptation (Aplication and System)
57
Grid Computing 57 DOAP: a pervasive view A pervasive view in GRID Computing Mobile Computing Wireless GRID Computing Wide-area Meta-computing High performance equips. Adaptability High heterogeneity
58
Grid Computing 58 GRID Computing in DOAP Adaptive Behavior Development Decisions Execution Decisions
59
Grid Computing 59 GRID Computing in DOAP Application RMS Agreement Band Focus in Adaptive Behavior Resource Demand
60
Grid Computing 60 DOAP Architecture Holoparadigm Multiparadigm; Blackboards; Mobility.
61
Grid Computing 61 Mobility: Hardware and Software Language level adaptation constructors DOAP Architecture ISAMadapt – Infra-Estrutura de Suporte às Aplicações Móveis
62
Grid Computing 62 DOAP Architecture High Distributed Applications Execution level adaptation mechanisms EXEHDA – Execution Environment for High Distributed Applications
63
Grid Computing 63 DOAP Architecture Proposals for object: Migration; Optmized communication; Monitoring PRIMOS – PRIMitives for Object Scheduling
64
Grid Computing 64 Java versus GRID Benefits of Java to GRID environments: Code portability simplifies assumptions about the heterogeneous execution environment Object-oriented programming model straightforward program partitioning Fast learning curve structured language, no pointers, programming less error prone
65
Grid Computing 65 PRIMOS: Java meeting the GRID PRIMOS extends Java with mechanisms to support: remote instantiation and object migration deal with code deployment and accounting optimized communication primitives access to specialized hardware features not available to usual Java applications distributed system utilization: probe & publishing construction of inter-object communication profiles
66
Grid Computing 66 VIC ++ VIC – Video Conferencing Tool Access Grid Project allows remote collaboration among groups; used to realization of classes and distributed seminars, remote presence in panels and discussions, virtual meetings and Grid based complex demonstrations;
67
Grid Computing 67 VIC ++ VIC ++ is an extension of VIC developed with two main targets: To introduce and adaptability algorithm that will adjust the VIC configurations to the network conditions, reducing the amount of work that the node operator has to perform during the sessions; To expand the statistics generator of the VIC, in order to provide more data to the researcher.
68
Grid Computing 68 Cooperações ( informais ) Caltech, Pasadena, CA Grupo HEP Desenvolvimento de aplicações e serviços específicos Harvey Newman NERSC, Berkeley, CA Horst Simon: SBAC 1995, missão 1998 LBL, DOE Acordo de cooperação com IBM Grande parque de supercomputadores Multidisciplinar
69
Grid Computing 69 Other Brazilian Grid Projects MultiCluster GridGene IC Grid OpenGrid Remarks: it is not a complete list There is also a proposal of a national Grid
70
Grid Computing 70 Other Brazilian Grid Projects MultiCluster II/UFRGS Contact: Prof. Philippe O.A. Navaux It aims to efficiently integrate different cluster-based architectures Myrinet, SCI, Fast Ethernet, …
71
Grid Computing 71 Other Brazilian Grid Projects GridGene UFRJ, LCC/MCT, UFPB/Campina Grande Contact: Prof. Paulo Bisch It aims to support genome analysis through development of parallel and distributed software for Grid environments
72
Grid Computing 72 Other Brazilian Grid Projects IC Grid UFF Contact: Prof. Vinod Rebello It will create a mini-grid testbed environment for the design and development of grid-base middleware
73
Grid Computing 73 Other Brazilian Grid Projects OpenGrid UFPB Contact: Prof. Walfredo Cirne It provides a global execution environment It is distributed as a free software
74
Grid Computing 74 Other Brazilian Grid Projects Grid Brasil Proposal: build a national (Brazil) Grid and Virtual Organizations Nowadays there are: six CENAPADs (HPC centers) a SINAPAD (to integrate these centers) This structure can be the starting point of a national Grid
75
Grid Computing 75 More Grid Projects at Brazil Grid Brasil
76
Grid Computing 76 Conclusions Several projects on Grid software adaptive scheduling Java HP programming Access Grid/Vic++ Multicluster Global execution environment Grid testbed for new Grid middleware
77
Grid Computing 77 Conclusions At least two important Grid applications HEP Genome Brazilian Grid group Sinapad Grid
78
Grid Computing 78 Conclusões gerais Grid Tecnologia necessária a diversas aplicações Diversas e variadas soluções Globus, Condor, Legion,... Necessidade de protocolos e API padronizados Muito ambicioso (?): inúmeros serviços Organizações temem compartilhamento Concorrência com evolução de outras tecnologias Web: protocolos, serviços, metadados,... B2B J2EE,.Net, CORBA (?),... Windows 2000 e XP server, Linux-rede,... Servidores de armazenamento, cpu, aplicações,... Problemas similares => soluções similares, concorrentes
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.