Projetos e Experiências em Computação em Grade

Apresentação em tema: "Projetos e Experiências em Computação em Grade"— Transcrição da apresentação:

1 Projetos e Experiências em Computação em Grade
Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008

2 Autoria Autores Cláudio Geyer Marko Petek Diego Gomes Eder Fontoura
Fórum Software Livre 2008

3 SLD Grupo SLD Grupo de pesquisa em Sistemas Largamente Distribuídos
Membro do GPPD – Grupo de Processamento Paralelo e Distribuído GPPD é um dos grupos do PPGC da UFRGS PPGC: Pós-Graduação em Computação SLD coopera com UCPel, UFSM, Unisinos, Lasalle, ... LGI (Grenoble), Caltech (CA, EUA)/UERJ, Cern (Genebra), LRI (Paris), Coimbra, ...

4 Sumário Sumário Conceitos de Computação em Grade Caso Globus
Grade UFRGS Experimental Grade HEP Projetos SLD Gerência de dados Escalonamento “Global Computing” Outros

5 Histórico “primeira” (?) proposta em 1989, por Larry Smarr do projeto CASA (USA) metacomputing = compartilhamento, ação em comum Projeto Condor Iníciado em 1988 “support High Throughput Computing (HTC) on large collections of distributively owned computing resources”

6 Histórico a partir de 1995, começam a surgir propostas de ferramentas para computação distribuída na Web FAFNER e I-WAY Final da década de 1990 Surgimento do projeto/mw Globus Edição do livro “Grid Computing”, eds. Foster e Kesselman atualmente, centenas de universidades e empresas ao redor do mundo estão envolvidas em projetos nessa área

7 Definições Grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities I. Foster e C. Kesselman, 1998 Grids are persistent environments that enable software applications to integrate instruments, displays, computational and information resources that are managed by diverse organizations in widespread locations GGF 2002

8 Definições Grid is a type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed "autonomous" resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements q.html Principal autor: Buya Preocupação com aspectos de custos

9 Definições Three point checklist: Grid is a system that:
(1) coordinates resources that are not subject to centralized control... (2) ... using standard, open, general-purpose protocols and interfaces... (3) ... to deliver nontrivial qualities of service I. Foster, 2002 Não usa termos (características) como; Largamente distribuídos Sw ou mw próprio Diversas organizações (implícito?)

10 Grid Problem Principais problemas de uma grade
Coordenação distribuída, cooperativa Compartilhamento de recursos em larga escala Solução de problemas (aplicações) Diversas organizações virtuais de multi-instituições Recursos e VO espalhados geograficamente Não há controle central Não há conhecimento total Confiança mútua entre as Vos Qualidade de entrega Gerência de recursos dinâmica Segurança

11 Grid Computing: Principais Aspectos
Aplicações computação distribuída computação de alto desempenho computação sob demanda computação intensiva de dados computação colaborativa Diferentes soluções

12 Considerações finais Ainda alguma diversidade em definições
Ver lista a seguir Diferentes arquiteturas conforme objetivos

13 Grid Computing: Principais Aspectos
Taxonomia Escalonadores Grid Service Broker Nimrod/G AppLes Condor/G Ninf DISCWorld SILVER ST-ORM PC2 Portais UNICORE XCAT JiPANG PUNCH GridSphere Economia Grace CPM Mariposa FORTH Share Meta D´Agent Data grids CERN GriPhyN Particle Physics DIDC

14 Grid Computing: Principais Aspectos
Taxonomia Sistemas XtremWeb Javelin MILAN HARNESS PUNCH MoBiDiCK MetaNEOS MultiCluster Ambientes MetaMPI DCE GrADS Java CoG Kit ProActive PDC REDISE JACO3 Cactus Middleware Globus Legion NetSolve GRACE Testbeds Polder NASA IPG NPACI DAS GUSTO SF-Express distributed.net

15 Global Grid Forum Global Grid Forum:
Desenvolvimento de protocolos e APIs padrões para computação Grid 2 ou mais workshops anuais Centenas de participantes

16 Caso Globus

17 GT 4 - Introdução Principais projetistas: Ian Foster e Carl Kesselman
Um dos mw para grades mais usados e referenciados Confunde-se com Grid (arquitetura) O Globus Toolkit é uma coleção de componentes que procuram solucionar os problemas freqüentes da construção de aplicações distribuídas colaborativas heterogeneidade simplificação da heterogeneidade para desenvolvedores de aplicações

18 GT 4 - Introdução Objetivos Permitir compartilhamento de
Poder computacional Bases de dados E outras ferramentas Passando por limites de instituições e geográficos Sem sacrificar a autonomia local

19 GT 4 - Introdução Histórico GT v1.0: 1998 GT v2.0: 2002
GT v3.0: pouco sucesso GT v4.0: 2005

20 GT 4 - Introdução Distinções
New York Times: padrão de fato em sw para grade 2002 Mais promissora tecnologia entre 100 Pela R&D Magazine 2003 Foster, Kesselman e Tuecke nomeados entre os 10 inovadores do ano pela InfoWorld magazine

21 GT 4 - Introdução Distinções (cont.) 2003
Globus: uma das 10 tecnologias que devem mudar o mundo Pelo MIT Technologu Review Globus recebe o prêmio “2003 Federal Laboratory Consortium” Pelos excelentes resultados em transferência de tecnologia Devido adoção por inúmeras instituições em todo o mundo

22 GT 4 – Introdução Exemplos de usos/aplicações (motivação)
Gerência da carga computacional em empresas SAP AG + GT 4 Captura de dados com alto desempenho Empresa precisa receber, processar, armazenar e disponibilizar dados entre 5 a 10 Gigabits por segundo

23 GT 4 – Introdução Exemplos de usos/aplicações (motivação)
Simulação (de Engenharia) de Terremotos NEES (EUA) agrupa engenheiros “de terremotos” distribuídos em o país Earth System Grid (EUA) Simulação e controle de clima Instalação de diversos serviços em vários laboratórios dos EUA

24 GT 4 – Introdução Exemplos de usos/aplicações (motivação)
Open Science Grid (EUA) Multi-organizações virtuais Laboratório em grade para aplicações diversas 30 sites, 3000 processadores Cargas de 10 distintas aplicações em 1300 jobs simultâneos Transferências de dados diárias de 2 Terabytes GT 4 usado para gerência de organizações virtuais, acesso a recursos, transferência de dados, autenticação, ...

25 GT 4 - Introdução O que têm no Globus Toolkit:
Ambiente de desenvolvimento Grid Desenvolvimento de Web Services OGSA- compliant Desenvolvimento de aplicações Conjunto de serviços Grid Ferramentas e exemplos Documentação, tutoriais, artigos Empacotados de forma a serem usados independentemente ou em conjunto Adicionar mais informações, visões, ..., conforme Primer, final da seção 1 (cópia com anotações): sobre requisitos (uso de WS), visão mais lógica da arquitetura, ... 2) Incluir parte sobre WS: conceitos de WS em geral e uso no GT 4 (seção 2 do Primer, cópia com anotações)

26 GT 4 - Introdução Principais Componentes: Core Runtime;
Infra-estrutura para construção de novos serviços; Segurança; Aplicação uniforme de políticas através de domínios distintos; Incluir mais alguns detalhes conforme Primer (talvez usando início da seção específica de cada componente)

27 GT 4 - Introdução Principais Componentes: Serviços de Informação;
Descoberta e monitoramento de serviços dinâmicos; Gerência de Dados; Descoberta, transferência e acesso a dados; Gerência de execução; Provisão de recursos, execução de jobs e gerência de serviços;

28 GT 4 - Introdução Protocolos Web Service: WSDL, SOAP;
WS Addressing, WSRF, WSN; WS Security, SAML, XACML; WS-Interoperability profile Demais Protocolos: GridFTP (baseado em padrões); Customizados;

29 GT 4 - Introdução

30 novo novo

31 GT 4 - Introdução

32 GT 4 - Introdução Projetos com participantes da aliança Globus

33 Versões Última versão GT 4.0.5 Acesso em 03/10/2007 Release notes
/ Principais modificações Correção de bugs Melhorias nos módulos MDS: Monitoring and Discovery System GRAM: Execution management tools GT Segurança

34 Bibliografia A Globus® Primer: What is the Grid and How Do I Use It?
er_0.6.pdf Home Globus. unix.globus.org/toolkit/tutorials/BAS/APAC/APACGlob usIntro.pdf. GT Segurança

35 Caso Grade UFRGS

36 O que é Iniciativa de conceber um ambiente operacional
GradeUFRGS O que é GradeUFRGS Iniciativa de conceber um ambiente operacional baseado em grade computacional para execução de aplicações paralelas agregando recursos computacionais das diferentes unidades da UFRGS e do CESUP/RS.

37 Quem GradeUFRGS Até o presente momento!!! Instituto de Informática
Química Até o presente momento!!! Instituto de Física Instituto de Matemática Centro Nacional de Supercomputação CESUP/RS

38 Organização Funcional
GradeUFRGS GradeUFRGS Centro Nacional de Supercomputação CESUP/RS VO Física Química Matemática VO Informática VO Informática VO Química Gerenciamento distribuído. VO Física Cada VO implementa diferentes políticas de utilização de recursos computacionais. Centro Nacional de Supercomputação CESUP/RS

39 GradeUFRGS Conexões GradeUFRGS Campus do Vale 2,5 Gb 1 Gb 100 Mb

40 Recursos de hardware GradeUFRGS
Centro Nacional de Supercomputação CESUP/RS VO Física Química Matemática VO Informática VO Informática VO Química Os recursos de hardware da GradeUFRGS podem ser obtidos de: VO Física Portal : Centro Nacional de Supercomputação CESUP/RS HP :

41 Recursos de software GradeUFRGS GridSphere: utilizado como portal.
Centro Nacional de Supercomputação CESUP/RS VO Física Química Matemática VO Informática GridSphere: utilizado como portal. Globus: middleware para construção e gerência de grade. Portable Batch System (PBS): gerência local das filas de jobs e processos. Linux: sistema operacional.

42 Grids e HEP

43 HEP Grade da Física Experimental de Altas Energias
Grade estruturada, hierarquizada Inúmeros países e instituições Incluindo Brasil (UERJ, USP) Coordenada pelo CERN (Genebra, Suiça) Interessante pelo tamanho, requisitos e organização Fonte de dados Inúmeros dispositivos sofisticados de física Objetivos Conhecimento sobre origem do universo

44

45 Diagrama dos Equipamentos HEP
Vários km; Subterrâneos; França, Suiça, ...

46 Interior do Anel

47 Interior do Detector CMS

48 1 Petabyte 103 Terabytes 106 Gigabytes 109 Megabytes 1012 Kilobytes
Concorde (15 Km) Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Mt. Blanc (4.8 Km) Um ano de dados no LHC (~ 20 Petabyte) 1015 Bytes 103 Terabytes 1 Petabyte 106 Gigabytes 109 Megabytes 1012 Kilobytes Como analisar estes dados?

49 Evolving Quantitative Science Requirements for Networks (DOE High Perf
Evolving Quantitative Science Requirements for Networks (DOE High Perf. Network Workshop) High throughput and steering 1000 Gb/s + QoS for Control Channel 100s of users 0.091 Gb/s (1 TBy/day) Genomics Data & Computation Computat’l steering and collaborations 1000 Gb/s N*N multicast 0.013 Gb/s (1 TByte/week) Astrophysics Time critical throughput N x 1000 Gb/s 0.198 Gb/s (500MB/ 20 sec. burst) 0.066 Gb/s (500 MB/s burst) Fusion Energy Remote control and time critical throughput 1 Gb/s Not yet started SNS NanoScience High bulk throughput Gb/s 0.5 Gb/s Climate (Data & Computation) 100 Gb/s High Energy Physics Remarks 5-10 Years End2End Throughput 5 years End2End Throughput Today End2End Throughput Science Areas Slide courtesy of H. Newman

50 DISUN DISUN: Data Intensive Science University Network Tier 0 Tier 1
10s of Petabytes/yr by ~2008 1000 Petabytes in < 10 yrs? > 50% of CPU in Tier2s CMS Experiment Online System GB/s CERN Computer Center Tier 0 10 Gb/s 10+ Gb/s Tier 1 Korea UK Russia FNAL ~10 Gb/s Tier 2 DISUN Caltech UCSD UFl UERJ ~10 Gb/s Tier 3 UCLA UCR UCSB USP Tier 4 Physics caches PCs

51 Tier2 HEPGRID Brazil GIGA CERN T1 France Germany Italy BRAZIL USA EU
HEPGRID-BRAZIL is a project to build a Grid that at Regional Level will include CBPF,UFRJ,UFRGS,UFBA,UERJ & UNESP -International Level will be integrated with CMS Grid based at CERN; focal points include iVGDL & bilateral projects with the Caltech Group Brazilian HEPGRID On line systems T0 +T1 Gbps CERN T1 France Germany Italy BRAZIL USA 622 Mbps 622 Mbps EU UNESP/USP SPRACE UERJ Regional Tier2 Ctr T2 T1 GIGA T3 T2 UFRGS CBPF UERJ UFBA UFRJ Individual Machines T4

52 Ambiente de Análise Grid

53 T2 – HEPGRID BRAZIL Raid Disks SERVERS NOBREAKS
100 –Double CPU of Itautec/Pentium GHz, 1 GB RAM, 40 GB HD Starting with 7 TB Raid HD. (Now at UERJ) T2 – HEPGRID BRAZIL Raid Disks SERVERS NOBREAKS All Switches are behind the racks. 5 LCD Monitors to be used for: Monitor, Monalisa, Communication and so on. We leave one for a group member to be trainning and develop software.

54 7 US CMS Tier2s; Caltech, Florida, UCSD, UWisc Form DISUN
US CMS and UERJ Tier2s and DISUN in Grid3 & the Open Science Grid Grid3: A National Grid Infrastructure 35 sites, CPUs: Univ Nat’l labs Part of LHC Grid Running since October 2003 HEP, LIGO, SDSS, Biology, Computer Sci. +Brazil (UERJ, USP) 7 US CMS Tier2s; Caltech, Florida, UCSD, UWisc Form DISUN Transition to Open Science Grid:

55

56 Principais Sws em uso Linux Globus Monalisa Ganglia
Phedex (BD Centralizado) Condor Monarc Sws de análise física (Fortran e C++)

57 Projeto Gerência da Dados
HEP, Cern Marko Petek e Diego Gomes

58 Gerência de Dados em Grades
Motivação: 1a geração de suporte a dados em Grades: ferramentas para transferência e catalogação de réplicas: Globus: GridFTP, RLS, RFT, DRS EU DataGrid: ReplicaManager Uso de servidores dedicados, controlados por presença humana Ferramentas não voltadas para o usuário final

59 Gerência de Dados em Grades
Objetivos: Fornecer uma mídia de armazenamento global para tarefas colaborativas Reduzir custos na construção de Grades para aplicações intensivas em dados Prover durabilidade aos dados coletados pelos recentes experimentos do HEP Facilitar o acesso aos dados fornecendo serviços voltados ao usuário final

60 Gerência de Dados em Grades
JavaRMS: Máquinas organizadas segundo um modelo P2P: uso do algoritmo Kademlia (mesmo do eMule) Uso de máquinas ociosas, não dedicadas e em grande quantidade Cada máquina gerencia um número de arquivos proporcional ao espaço fornecido Arquivos replicados para garantir sua durabilidade na ocorrência de falhas

61 Gerência de Dados em Grades
JavaRMS: Arquivos imutáveis ou com poucas exigências de escrita Segurança: Comunicação (XML-RPC sobre HTTPS) Controle de acesso e cotas de armazenamento Proteção das operações (via doc. digital) Paralelismo nas operações que envolvem transferência de dados para melhor desempenho

62 Gerência de Dados em Grades
Serviços fornecidos: Inserção, recuperação e remoção de arquivos Inserção e remoção de usuários: controle de cotas Controle de uso do espaço em disco fornecido ao sistema Busca por arquivos baseado em informações sobre seu conteúdo Interface: Sistema de Arquivos Virtual

63 Gerência de Dados em Grades

64 Projeto Escalonador XtremWeb
Eder Fontoura Rafael Dal Zotto

65 O que é XtremWeb (XW)? Projeto de pesquisa relacionado a light-weight Grids Plataforma Open Source para a elaboração de grades baseadas em PCs, desenvolvida por IN2P3 e INRIA Utiliza: Recursos(PCs, Workstations, Servers) conectados através da Internet e/ou recursos em uma LAN Os recursos cooperam proporcionando ciclos de CPU quando ociosos

66 Arquitetura do XW task submission Server

67 Arquitetura do XW Semelhante à arquitetura de projetos de Global Computing como Boinc Arquitetura composta por 3 elementos: Client: Submete tarefas ao servidor para execução Server: Elemento central que mantem registro de tarefas submetidas e workers registrados Worker: recurso que quando ocioso, busca tarefas no servidor, executa e retorna o resultado

68 AVSched Trabalho de mestrado em desenvolvimento Proposta
escalonador que considere a disponibilidade nas decisões de escalonamento Objetivo reduzir o impacto causado em um ambiente tipo XW onde os recursos (workers) tem a liberdade de sair do sistema sem avisar causando a interrupção da execução das tarefas

69 AVSched Cada recurso determina o seu padrão de disponibilidade:
Determinação de períodos de disponibilidade comuns para o recurso Ex: em hora do almoço a máquina sempre está ociosa Recurso somente requisita tarefa ao servidor quando estiver em um período de disponibilidade considerado como padrão

70 AVSched Quando envia uma requisição
o recurso envia também o tempo de disponibilidade (estimado) que terá para executar uma tarefa O escalonador seleciona a tarefa mais adequada conforme a disponibilidade informada e entrega ao recurso Desta forma pode-se reduzir o número de erros de escalonamento

71 AVSched Testes: Em desenvolvimento
Protótipo para testes foi desenvolvido e integrado ao XW Testar inicialmente em um conjunto de 90 máquinas + servidor Objetiva-se utilizar a Grade5K em parceria com a França para números maiores de nodos Simulação com SimBoinc/SimGrid em desenvolvimento

72 Outros Projetos SLD

73 Outros Projetos SLD Framework Aplicações Mestre-Escravo
Parte do projeto ISAM UFRGS, UCPel, UFSM, Unisinos Grand: gerência de recursos e escalonador Doutorado de Patrícia Vargas (COPPE, UFRJ) Grade Ubíqua Projeto RNP entre UFRGS, UCPel, UFSM

74 Referências: conceituais/surveys
checkpoint list: BUYYA - {The Grid}: International Efforts in Global Computing : ROURE, - {T}he Evolution of the {G}rid : NEMETH, - {A} comparison of conventional distributed computing environments and computational grids :

75 Projetos e Experiências em Computação em Grade
Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008