A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 Projetos e Experiências em Computação em Grade Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008.

Apresentações semelhantes


Apresentação em tema: "1 Projetos e Experiências em Computação em Grade Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008."— Transcrição da apresentação:

1 1 Projetos e Experiências em Computação em Grade Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008

2 Grid Computing Autoria Autores Cláudio Geyer Marko Petek Diego Gomes Eder Fontoura Fórum Software Livre 2008

3 Grid Computing SLD Grupo SLD Grupo de pesquisa em Sistemas Largamente Distribuídos Membro do GPPD – Grupo de Processamento Paralelo e Distribuído GPPD é um dos grupos do PPGC da UFRGS PPGC: Pós-Graduação em Computação SLD coopera com UCPel, UFSM, Unisinos, Lasalle,... LGI (Grenoble), Caltech (CA, EUA)/UERJ, Cern (Genebra), LRI (Paris), Coimbra,...

4 Grid Computing 4 Sumário Conceitos de Computação em Grade Caso Globus Grade UFRGS Experimental Grade HEP Projetos SLD Gerência de dados Escalonamento Global Computing Outros

5 Grid Computing 5 Histórico primeira (?) proposta em 1989, por Larry Smarr do projeto CASA (USA) metacomputing = compartilhamento, ação em comum Projeto Condor Iníciado em support High Throughput Computing (HTC) on large collections of distributively owned computing resourcesHigh Throughput Computing (HTC)

6 Grid Computing Histórico a partir de 1995, começam a surgir propostas de ferramentas para computação distribuída na Web FAFNER e I-WAY Final da década de 1990 Surgimento do projeto/mw Globus Edição do livro Grid Computing, eds. Foster e Kesselman atualmente, centenas de universidades e empresas ao redor do mundo estão envolvidas em projetos nessa área

7 Grid Computing Definições Grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities I. Foster e C. Kesselman, 1998 Grids are persistent environments that enable software applications to integrate instruments, displays, computational and information resources that are managed by diverse organizations in widespread locations GGF 2002

8 Grid Computing Definições Grid is a type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed "autonomous" resources dynamically at runtime depending on their availability, capability, performance, cost, and users' quality-of-service requirements q.html q.html Principal autor: Buya Preocupação com aspectos de custos

9 Grid Computing Definições Three point checklist: Grid is a system that: (1) coordinates resources that are not subject to centralized control... (2)... using standard, open, general-purpose protocols and interfaces... (3)... to deliver nontrivial qualities of service I. Foster, 2002 Não usa termos (características) como; Largamente distribuídos Sw ou mw próprio Diversas organizações (implícito?)

10 Grid Computing 10 Grid Problem Principais problemas de uma grade Coordenação distribuída, cooperativa Compartilhamento de recursos em larga escala Solução de problemas (aplicações) Diversas organizações virtuais de multi-instituições Recursos e VO espalhados geograficamente Não há controle central Não há conhecimento total Confiança mútua entre as Vos Qualidade de entrega Gerência de recursos dinâmica Segurança

11 Grid Computing 11 Grid Computing: Principais Aspectos Aplicações computação distribuída computação de alto desempenho computação sob demanda computação intensiva de dados computação colaborativa Diferentes soluções

12 Grid Computing Considerações finais Ainda alguma diversidade em definições Ver lista a seguir Diferentes arquiteturas conforme objetivos

13 Grid Computing 13 Taxonomia Escalonadores Grid Service Broker Nimrod/G AppLes Condor/G Ninf DISCWorld SILVER ST-ORM PC 2 Portais UNICORE XCAT JiPANG PUNCH GridSphere Economia Grace CPM Mariposa FORTH Share Meta D´Agent Data grids CERN GriPhyN Particle Physics DIDC Grid Computing: Principais Aspectos

14 Grid Computing 14 Sistemas XtremWeb Javelin MILAN HARNESS PUNCH MoBiDiCK MetaNEOS MultiCluster Taxonomia Ambientes MetaMPI DCE GrADS Java CoG Kit ProActive PDC REDISE JACO3 Cactus Middleware Globus Legion NetSolve GRACE Testbeds Polder NASA IPG NPACI DAS GUSTO SF-Express distributed.net Grid Computing: Principais Aspectos

15 Grid Computing 15 Global Grid Forum Global Grid Forum: Desenvolvimento de protocolos e APIs padrões para computação Grid 2 ou mais workshops anuais Centenas de participantes

16 Grid Computing Caso Globus

17 Grid Computing 17 GT 4 - Introdução Principais projetistas: Ian Foster e Carl Kesselman Um dos mw para grades mais usados e referenciados Confunde-se com Grid (arquitetura) O Globus Toolkit é uma coleção de componentes que procuram solucionar os problemas freqüentes da construção de aplicações distribuídas colaborativas heterogeneidade simplificação da heterogeneidade para desenvolvedores de aplicações

18 Grid Computing 18 GT 4 - Introdução Objetivos Permitir compartilhamento de Poder computacional Bases de dados E outras ferramentas Passando por limites de instituições e geográficos Sem sacrificar a autonomia local

19 Grid Computing 19 GT 4 - Introdução Histórico GT v1.0: 1998 GT v2.0: 2002 GT v3.0: pouco sucesso GT v4.0: 2005

20 Grid Computing 20 GT 4 - Introdução Distinções New York Times: padrão de fato em sw para grade 2002 Mais promissora tecnologia entre 100 Pela R&D Magazine 2003 Foster, Kesselman e Tuecke nomeados entre os 10 inovadores do ano pela InfoWorld magazine

21 Grid Computing 21 GT 4 - Introdução Distinções (cont.) 2003 Globus: uma das 10 tecnologias que devem mudar o mundo Pelo MIT Technologu Review 2003 Globus recebe o prêmio 2003 Federal Laboratory Consortium Pelos excelentes resultados em transferência de tecnologia Devido adoção por inúmeras instituições em todo o mundo

22 Grid Computing GT 4 – Introdução Exemplos de usos/aplicações (motivação) Gerência da carga computacional em empresas SAP AG + GT 4 Captura de dados com alto desempenho Empresa precisa receber, processar, armazenar e disponibilizar dados entre 5 a 10 Gigabits por segundo

23 Grid Computing 23 GT 4 – Introdução Exemplos de usos/aplicações (motivação) Simulação (de Engenharia) de Terremotos NEES (EUA) agrupa engenheiros de terremotos distribuídos em o país Earth System Grid (EUA) Simulação e controle de clima Instalação de diversos serviços em vários laboratórios dos EUA

24 Grid Computing 24 GT 4 – Introdução Exemplos de usos/aplicações (motivação) Open Science Grid (EUA) Multi-organizações virtuais Laboratório em grade para aplicações diversas 30 sites, 3000 processadores Cargas de 10 distintas aplicações em 1300 jobs simultâneos Transferências de dados diárias de 2 Terabytes GT 4 usado para gerência de organizações virtuais, acesso a recursos, transferência de dados, autenticação,...

25 Grid Computing 25 GT 4 - Introdução O que têm no Globus Toolkit: Ambiente de desenvolvimento Grid Desenvolvimento de Web Services OGSA- compliant Desenvolvimento de aplicações Conjunto de serviços Grid Ferramentas e exemplos Documentação, tutoriais, artigos Empacotados de forma a serem usados independentemente ou em conjunto

26 Grid Computing 26 GT 4 - Introdução Principais Componentes: Core Runtime; Infra-estrutura para construção de novos serviços; Segurança; Aplicação uniforme de políticas através de domínios distintos;

27 Grid Computing 27 GT 4 - Introdução Principais Componentes: Serviços de Informação; Descoberta e monitoramento de serviços dinâmicos; Gerência de Dados; Descoberta, transferência e acesso a dados; Gerência de execução; Provisão de recursos, execução de jobs e gerência de serviços;

28 Grid Computing 28 GT 4 - Introdução Protocolos Web Service: WSDL, SOAP; WS Addressing, WSRF, WSN; WS Security, SAML, XACML; WS-Interoperability profile Demais Protocolos: GridFTP (baseado em padrões); Customizados;

29 Grid Computing 29 GT 4 - Introdução

30 Grid Computing 30 novo

31 Grid Computing 31 GT 4 - Introdução

32 Grid Computing 32 GT 4 - Introdução Projetos com participantes da aliança Globus

33 Grid Computing GT Segurança 33 Versões Última versão GT Acesso em 03/10/2007 Release notes / / Principais modificações Correção de bugs Melhorias nos módulos MDS: Monitoring and Discovery System GRAM: Execution management tools

34 Grid Computing GT Segurança 34 Bibliografia A Globus® Primer: What is the Grid and How Do I Use It? er_0.6.pdf Home Globus. unix.globus.org/toolkit/tutorials/BAS/APAC/APACGlob usIntro.pdf. unix.globus.org/toolkit/tutorials/BAS/APAC/APACGlob usIntro.pdf

35 Grid Computing Caso Grade UFRGS

36 Grid Computing O que é GradeUFRGS Iniciativa de conceber um ambiente operacional baseado em grade computacional para execução de aplicações paralelas agregando recursos computacionais das diferentes unidades da UFRGS e do CESUP/RS. GradeUFRGS

37 Grid Computing Instituto de Química Instituto de Matemática Instituto de Informática Centro Nacional de Supercomputação CESUP/RS Instituto de Física GradeUFRGS Quem GradeUFRGS Até o presente momento!!!

38 Grid Computing Centro Nacional de Supercomputação CESUP/RS VO Física VO Química VO Matemática VO Informática VO CESUP/RS Cada VO implementa diferentes políticas de utilização de recursos computacionais. Gerenciamento distribuído. GradeUFRGS Organização Funcional GradeUFRGS VO Informática VO Química VO Física Centro Nacional de Supercomputação CESUP/RS

39 Grid Computing Campus do Vale 2,5 Gb 1 Gb 100 Mb GradeUFRGS Conexões GradeUFRGS

40 Grid Computing Centro Nacional de Supercomputação CESUP/RS VO Física VO Química VO Matemática VO Informática VO CESUP/RS Os recursos de hardware da GradeUFRGS podem ser obtidos de: : HP : GradeUFRGS Recursos de hardware GradeUFRGS VO Química VO Informática VO Física Centro Nacional de Supercomputação CESUP/RS

41 Grid Computing Centro Nacional de Supercomputação CESUP/RS VO Física VO Química VO Matemática VO Informática VO CESUP/RS Portable Batch System (PBS): gerência local das filas de jobs e processos. Linux: sistema operacional. GradeUFRGS Recursos de software GridSphere: utilizado como portal. Globus: middleware para construção e gerência de grade.

42 Grid Computing Grids e HEP

43 Grid Computing HEP Grade da Física Experimental de Altas Energias Grade estruturada, hierarquizada Inúmeros países e instituições Incluindo Brasil (UERJ, USP) Coordenada pelo CERN (Genebra, Suiça) Interessante pelo tamanho, requisitos e organização Fonte de dados Inúmeros dispositivos sofisticados de física Objetivos Conhecimento sobre origem do universo

44 Grid Computing

45 Diagrama dos Equipamentos HEP Vários km; Subterrâneos; França, Suiça,...

46 Grid Computing Interior do Anel

47 Grid Computing Interior do Detector CMS

48 Grid Computing Concorde (15 Km) Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Mt. Blanc (4.8 Km) Bytes 10 3 Terabytes 1 Petabyte 10 6 Gigabytes 10 9 Megabytes Kilobytes Um ano de dados no LHC (~ 20 Petabyte) Como analisar estes dados?

49 Grid Computing High throughput and steering 1000 Gb/s + QoS for Control Channel 100s of users0.091 Gb/s (1 TBy/day) Genomics Data & Computation Computatl steering and collaborations 1000 Gb/s N*N multicast0.013 Gb/s (1 TByte/week) Astrophysics Time critical throughput N x 1000 Gb/s Gb/s (500MB/ 20 sec. burst) Gb/s (500 MB/s burst) Fusion Energy Remote control and time critical throughput 1000 Gb/s + QoS for Control Channel 1 Gb/sNot yet started SNS NanoScience High bulk throughput N x 1000 Gb/s Gb/s0.5 Gb/sClimate (Data & Computation) High bulk throughput 1000 Gb/s 100 Gb/s0.5 Gb/sHigh Energy Physics Remarks5-10 Years End2End Throughput 5 years End2End Throughput Today End2End ThroughputScience Areas Evolving Quantitative Science Requirements for Networks (DOE High Perf. Network Workshop) Slide courtesy of H. Newman

50 Grid Computing CMS Experiment DISUN: Data Intensive Science University Network Online System CERN Computer Center FNAL Korea Russia UK UCSB GB/s ~10 Gb/s 10 Gb/s ~10 Gb/s Tier 0 Tier 1 Tier 3 Tier 2 Physics caches PCs UCR UFl UCSD Caltech 10s of Petabytes/yr by ~ Petabytes in < 10 yrs? > 50% of CPU in Tier2s UCLA Tier 4 DISUN 10+ Gb/s UERJ USP

51 Grid Computing HEPGRID-BRAZIL is a project to build a Grid that at -Regional Level will include CBPF,UFRJ,UFRGS,UFBA,UERJ & UNESP -International Level will be integrated with CMS Grid based at CERN; focal points include iVGDL & bilateral projects with the Caltech Group Tier2 HEPGRID Brazil France Italy USA Germany BRAZIL 622 Mbps UFRGS UERJ UFRJ T1 Individual Machines On line systems Brazilian HEPGRID CBPF UNESP/USP SPRACE GIGA CERN Gbps UFBA UERJ Regional Tier2 Ctr T4 T0 +T1 T2 T1 T3 T2 EU 622 Mbps

52 Grid Computing Ambiente de Análise Grid

53 Grid Computing SERVERS Raid Disks NOBREAKS All Switches are behind the racks. 5 LCD Monitors to be used for: Monitor, Monalisa, Communication and so on. We leave one for a group member to be trainning and develop software. 100 –Double CPU of Itautec/Pentium GHz, 1 GB RAM, 40 GB HD Starting with 7 TB Raid HD. (Now at UERJ) T2 – HEPGRID BRAZIL

54 Grid Computing US CMS and UERJ Tier2s and DISUN in Grid3 & the Open Science Grid Grid3: A National Grid Infrastructure 35 sites, 3500 CPUs: Univ. + 4 Natl labs Part of LHC Grid Running since October 2003 HEP, LIGO, SDSS, Biology, Computer Sci. Transition to Open Science Grid: +Brazil (UERJ, USP) 7 US CMS Tier2s; Caltech, Florida, UCSD, UWisc Form DISUN

55 Grid Computing

56 Principais Sws em uso Linux Globus Monalisa Ganglia Phedex (BD Centralizado) Condor Monarc Sws de análise física (Fortran e C++)

57 Grid Computing Projeto Gerência da Dados HEP, Cern Marko Petek e Diego Gomes

58 Grid Computing Gerência de Dados em Grades Motivação: 1a geração de suporte a dados em Grades: ferramentas para transferência e catalogação de réplicas: Globus: GridFTP, RLS, RFT, DRS EU DataGrid: ReplicaManager Uso de servidores dedicados, controlados por presença humana Ferramentas não voltadas para o usuário final

59 Grid Computing Gerência de Dados em Grades Objetivos: Fornecer uma mídia de armazenamento global para tarefas colaborativas Reduzir custos na construção de Grades para aplicações intensivas em dados Prover durabilidade aos dados coletados pelos recentes experimentos do HEP Facilitar o acesso aos dados fornecendo serviços voltados ao usuário final

60 Grid Computing Gerência de Dados em Grades JavaRMS: Máquinas organizadas segundo um modelo P2P: uso do algoritmo Kademlia (mesmo do eMule) Uso de máquinas ociosas, não dedicadas e em grande quantidade Cada máquina gerencia um número de arquivos proporcional ao espaço fornecido Arquivos replicados para garantir sua durabilidade na ocorrência de falhas

61 Grid Computing Gerência de Dados em Grades JavaRMS: Arquivos imutáveis ou com poucas exigências de escrita Segurança: Comunicação (XML-RPC sobre HTTPS) Controle de acesso e cotas de armazenamento Proteção das operações (via doc. digital) Paralelismo nas operações que envolvem transferência de dados para melhor desempenho

62 Grid Computing Gerência de Dados em Grades Serviços fornecidos: Inserção, recuperação e remoção de arquivos Inserção e remoção de usuários: controle de cotas Controle de uso do espaço em disco fornecido ao sistema Busca por arquivos baseado em informações sobre seu conteúdo Interface: Sistema de Arquivos Virtual

63 Grid Computing Gerência de Dados em Grades

64 Grid Computing Projeto Escalonador XtremWeb Eder Fontoura Rafael Dal Zotto

65 Grid Computing O que é XtremWeb (XW)? Projeto de pesquisa relacionado a light-weight Grids Plataforma Open Source para a elaboração de grades baseadas em PCs, desenvolvida por IN2P3 e INRIA Utiliza: Recursos(PCs, Workstations, Servers) conectados através da Internet e/ou recursos em uma LAN Os recursos cooperam proporcionando ciclos de CPU quando ociosos

66 Grid Computing task submission task submission task Server Arquitetura do XW

67 Grid Computing Arquitetura do XW Semelhante à arquitetura de projetos de Global Computing como Boinc Arquitetura composta por 3 elementos: Client: Submete tarefas ao servidor para execução Server: Elemento central que mantem registro de tarefas submetidas e workers registrados Worker: recurso que quando ocioso, busca tarefas no servidor, executa e retorna o resultado

68 Grid Computing AVSched Trabalho de mestrado em desenvolvimento Proposta escalonador que considere a disponibilidade nas decisões de escalonamento Objetivo reduzir o impacto causado em um ambiente tipo XW onde os recursos (workers) tem a liberdade de sair do sistema sem avisar causando a interrupção da execução das tarefas

69 Grid Computing AVSched Cada recurso determina o seu padrão de disponibilidade: Determinação de períodos de disponibilidade comuns para o recurso Ex: em hora do almoço a máquina sempre está ociosa Recurso somente requisita tarefa ao servidor quando estiver em um período de disponibilidade considerado como padrão

70 Grid Computing AVSched Quando envia uma requisição o recurso envia também o tempo de disponibilidade (estimado) que terá para executar uma tarefa O escalonador seleciona a tarefa mais adequada conforme a disponibilidade informada e entrega ao recurso Desta forma pode-se reduzir o número de erros de escalonamento

71 Grid Computing AVSched Testes: Em desenvolvimento Protótipo para testes foi desenvolvido e integrado ao XW Testar inicialmente em um conjunto de 90 máquinas + servidor Objetiva-se utilizar a Grade5K em parceria com a França para números maiores de nodos Simulação com SimBoinc/SimGrid em desenvolvimento

72 Grid Computing Outros Projetos SLD

73 Grid Computing Outros Projetos SLD Framework Aplicações Mestre-Escravo Parte do projeto ISAM UFRGS, UCPel, UFSM, Unisinos Grand: gerência de recursos e escalonador Doutorado de Patrícia Vargas (COPPE, UFRJ) Grade Ubíqua Projeto RNP entre UFRGS, UCPel, UFSM

74 Grid Computing Referências: conceituais/surveys checkpoint list: BUYYA - {The Grid}: International Efforts in Global Computing : ROURE, - {T}he Evolution of the {G}rid : NEMETH, - {A} comparison of conventional distributed computing environments and computational grids : 74

75 Grid Computing 75 Projetos e Experiências em Computação em Grade Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008


Carregar ppt "1 Projetos e Experiências em Computação em Grade Grupo SLD – Informática UFRGS Fórum de SW Livre – Abril 2008."

Apresentações semelhantes


Anúncios Google