Revisão geral CG 09/10. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos (RMS – Resource Management Systems)

Apresentação em tema: "Revisão geral CG 09/10. Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos (RMS – Resource Management Systems)"— Transcrição da apresentação:

1 Revisão geral CG 09/10

2 Introdução Plataformas de processamento paralelo e distribuído Clusters Gerenciadores de recursos (RMS – Resource Management Systems)  NQE  SGE  Condor Definições de grid

3 Condor Escalonamento oportunista Matchmaking Classads Arquitetura e processo principais Comandos principais Checkpointing DAGMan Master-worker Flocking

4 EGEE Overview do projeto  Objetivos  Aplicações  Projetos relacionados  Sustentabilidade  Middleware

5 gLite Aspectos administrativos de desenvolvimento do middleware Arquitetura: serviços Job workflow Segurança  Autenticação  Autorização  Proxies  Organizações virtuais (VO e VOMS)

6 gLite Sistema de informação  BDII (Berkeley Database Information Index), ldap Accounting  Apel  Dgas Storage elements Computing Elements Gestão de jobs (WMS – Workload Management System) User Interface (UI), Logging & Bookkeeping (LB), Logical File Catalog (LFC)

7 gLite Autenticação e autorização Chaves públicas e privadas Certificados Formas de criptografia Segurança  X.509 PKI Organizações virtuais IGTF Certificate authorities e registration authorities CRLs CNs e DNs Renovação de certificado Login to the grid, single sign-on, delegation

8 gLite: WMS & DMS Workload Management system  Features  API Data Management System  Features  API

9 Arquitetura de grids (OGSA e outras) Desafios History and Evolution of Grid Introduction to Grid Architecture Key Components - Resource infrastructure Services in the Web and the Grid Technology: Globus

10 Arquitetura de grids (OGSA) Modelo da ampulheta (hourglass model)  Aplicações  Collective services  Core  Fabric

11 Arquitetura de grids (OGSA) Web services versus Grid services OGSA/OGSI/WSRF Implementation: Globus  Serviços (GRAM, GridFTP, GSI, etc)  limitações

12 Application Description Languages Script-like Atribute-value Workflow-based Xml-based

13 Languages ClassAds DAGMan VDL GXML AGWL XPWSL GEL GRID-ADL JDL JSDL

14 Grid Systems and Scheduling Taxonomia (segundo Foster):  Computacionais  Data grids  Service grids Taxonomia de aplicações  Distributed supercomputing  High-Throughput Computing  On-Demand Computing  Data-Intensive Computing  Collaborative Computing

15 Grid Systems and Scheduling (cont.) Alternative classification for applications:  Independent  Loosely-coupled  Tightly-coupled Application management  Partitioning  Mapping  allocation

16 Grid Systems and Scheduling (cont.) Particionamento e aglomeração de grafos de aplicação Heurísticas de particionamento:  Graph collapsing  Dominant edge  Machine cut  zeroing

17 Grid Systems and Scheduling (cont.) Survey de estratégias de escalonamento  Kwok & Ahmad  Casavant & Khul  List scheduling family Dominance sequence clustering (DSC)  Kumar & Biswas Minimax  Zomaya et al.: Muliple queues with duplication  Reinforcement learning

18 Grid Systems and Scheduling (cont.) Resource management  When to transfer  Which task  Which node Sender-initiated Receiver-initiated Simmetrically-initiated  When to collect info

19 Scheduling mechanisms for grids (according to Berman and reviewed by Kayser) Níveis:  Application  Job  Resource  Meta-scheduler

20 Scheduling mechanisms for grids Legion Globus MyGrid/OurGrid GrADS EasyGrid Nimrod/G AppLeS GRAnD/AppMan

21 Grid Systems and Scheduling (cont.) Grid operating systems  Veja OS  XtreemOS

22 Grids versus Clouds Rever bibliografia sugerida nos últimos slides da disciplina