Introdução à Computação em Grade Porto Alegre, Maio/2006 Centro Nacional de Supercomputação CESUP/RS Realização: Projeto GradeUFRGS Material pertencente ao Projeto GradeUFRGS

Fornecer informações iniciais sobre: Conceitos de computação em grade e suas aplicabilidades; Infra-estrutura necessária para a computação em grade. Introdução à Computação em Grade Introdução à Computação em Grade OBJETIVOS COMPETÊNCIAS Entender a analogia entre Energy Grid e Grid Computing; Identificar as diferenças entre grid e Internet; Entender o papel de cada item identificado como premissa básica em uma grade computacional; Entender os passos para habilitar-se ao uso de uma grade computacional; Entender uma abstração de passos para execução de uma aplicação em ambiente de grade computacional; Entender o conceito de grade computacional e sua aplicabilidade.

Energia sob demanda Energia sob demanda VISÃO DO USUÁRIO desconhece detalhes técnicos sobre geração, transmissão e distribuição de energia; interesse em ter sua necessidade por energia elétrica atendida.

desconhece detalhes técnicos sobre geração, transmissão e distribuição de energia; interesse em ter sua necessidade por energia elétrica atendida. Eletric Grid Energia sob demanda Energia sob demanda VISÃO DO USUÁRIO

Computação sob demanda Computação sob demanda desconhece detalhes técnicos sobre software, hardware, rede, gerenciamento de recursos; interesse em ter sua necessidade por computação atendida. VISÃO DO USUÁRIO

desconhece detalhes técnicos sobre software, hardware, rede, gerenciamento de recursos; interesse em ter sua necessidade por computação atendida. Computação sob demanda Computação sob demanda Grade Computacional

Computação em Grade Aplicabilidade Computação em Grade Aplicabilidade

Grid Computing Infra-estrutura de: Software; Hardware; Telecomunicações; Definições administrativas. Permitindo Compartilhamento de recursos heterogêneos e geograficamente distribuídos de maneira coordenada. Computação sob demanda Computação sob demanda Premissas Básicas de Construção. Como

Grid Computing Usuário pertence a comunidade; Usuário treinamento básico; Usuário necessita de credenciais de acesso à grade; Usuário acessa portal; Usuário utiliza grade submetendo job e obtendo informações. Computação sob demanda Computação sob demanda Premissas Básicas de Utilização.

Visão do usuário Premissas de Construção + Premissas de Utilização Sistema único Grid Computing Computação sob demanda Computação sob demanda Visão do Usuário. Como

São iguais Internet? Grid? Cluster? Internet? Grid? Cluster? Grid Computing Internet Grid e Cluster são diferentes plataformas para execução de aplicações paralelas. Internet suporte para serviços como www, , ftp. suporte para serviços como video-conferência, hdtv, voIP e grade. grade internet Cluster Não, não são!

Computação em Grade Telecom Infra-estrutura Computação em Grade Telecom Infra-estrutura Conexões com elevadas taxas de transferência de dados. TeraGridTeraGrid

conexões com elevadas taxas de transferência. TeraGridTeraGrid Heterogeneidade de recursos computacionais - tanto local quanto distribuídos. Computação em Grade Hardware Infra-estrutura Computação em Grade Hardware Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Department GridTeraGridTeraGrid Alta dispersão geográfica com diferentes níveis de agregação de recursos. Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Department Grid Campus Grid TeraGridTeraGrid Alta dispersão geográfica com diferentes níveis de agregação de recursos. Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Alta dispersão geográfica com diferentes níveis de agregação de recursos. Department Grid Campus Grid TeraGridTeraGrid Regional Grid Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Regional Grid National Grid Department Grid Campus Grid TeraGridTeraGrid Alta dispersão geográfica com diferentes níveis de agregação de recursos. Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

National Grid Regional Grid Department Grid Campus Grid International Grid conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Alta dispersão geográfica com diferentes níveis de agregação de recursos. Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

National Grid Regional Grid Department Grid Campus Grid International Grid Intercontinental Grid conexões com elevadas taxas de transferência; recursos computacionais heterogenêos. Alta dispersão geográfica com diferentes níveis de agregação de recursos. Computação em Grade Organização Funcional Infra-estrutura Computação em Grade Organização Funcional Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica. Normalmente, as VO são formadas em função de interesses comuns. VO EUA VO Michigan VO California TeraGridTeraGrid Grupo de instituições agregadas sob as mesmas políticas de compartilhamento de recursos. VO = domínio administrativo Computação em Grade Organização Virtual Infra-estrutura Computação em Grade Organização Virtual Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO). Recursos compartilhados entre VO´s: disco, processadores, memória, dados, aplicações, etc. Aplicação do domínio EUA é disparada na VO MICHIGAN utilizando discos da VO TEXAS, memória e processadores das VO´s MICHIGAN e CALTECH e dados de todas as VO´s. VO EUA VO Michigan VO California TeraGridTeraGrid Computação em Grade Recursos Compartilhados Infra-estrutura Computação em Grade Recursos Compartilhados Infra-estrutura

Aplicação do domínio EUA é disparada na VO MICHIGAN utilizando discos da VO TEXAS, memória e processadores das VO´s MICHIGAN e CALTECH se estas permitirem. Controle é definido pela VO local através de definições administrativas (políticas de uso dos recursos). conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos. Regras de utilização de recursos da VO. Define-se “O QUE”, “QUANDO”, “ONDE”, “QUEM”, “QUANTO”. VO EUA VO Michigan VO California TeraGridTeraGrid Computação em Grade Política de Uso Infra-estrutura Computação em Grade Política de Uso Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. + = Portal Middleware Grade Recursos de software para construção, configuração e operação de um grid. Computação em Grade Software Infra-estrutura Computação em Grade Software Infra-estrutura

Acessado através de URL. Requer senha de acesso. conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais. Computação em Grade Software - Portal Infra-estrutura Computação em Grade Software - Portal Infra-estrutura

Cadastro de recursos e usuários. Acessado através de URL; Requer senha de acesso. conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais. Computação em Grade Software - Portal Infra-estrutura Computação em Grade Software - Portal Infra-estrutura

Cadastro de recursos e usuários. Acessado através de URL; Requer senha de acesso; Informações sobre recursos e serviços disponíveis. conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais. Computação em Grade Software - Portal Infra-estrutura Computação em Grade Software - Portal Infra-estrutura

Disparo e monitoramento de jobs. Informações sobre recursos. conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Cadastro de recursos e usuários; Acessado através de URL; Requer senha de acesso; Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais. Computação em Grade Software - Portal Infra-estrutura Computação em Grade Software - Portal Infra-estrutura

Disparo e monitoramento de jobs. Informações sobre recursos. conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Cadastro de recursos e usuários; Acessado através de URL; Requer senha de acesso; Ponto de entrada do usuário na grade. “Esconde” do usuário aspectos técnicos computacionais. Computação em Grade Software - Portal Infra-estrutura Computação em Grade Software - Portal Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos.  Security Infrastructure;  Information Management;  Resource Management;  Data Management. Não é uma solução completa! Globus Toolkit Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid. Computação em Grade Software - Middleware Infra-estrutura Computação em Grade Software - Middleware Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Resource Management Service Data Management Services Security Infrastructure Information Management Serviços do Globus Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid. Computação em Grade Software - Middleware Infra-estrutura Computação em Grade Software - Middleware Infra-estrutura

conexões com elevadas taxas de transferência; recursos computacionais heterogenêos; alta dispersão geográfica; múltiplos domínios administrativos (VO); compartilhamento de recursos; políticas de uso de recursos. Não é uma solução completa! Gerenciador de Fila de Jobs Protocolos Sistema Operacional Soluções Complementares Conjunto de serviços, ferramentas e aplicações voltadas para construção e utilização em ambiente grid. Computação em Grade Software - Middleware Infra-estrutura Computação em Grade Software - Middleware Infra-estrutura

1 Contate o admin da VO. 2 Admin da VO solicita certificado digital do usuário. ? OK Autoridade Cerficadora OK Iduser, senha, 3 Admin retorna id, senha e certificado digital do usuário. 4 Usuário com direitos de acesso ao grid através do portal. Passos para habilitar-se ao uso do grid. Computação em Grade Associando-se à Grade Computação em Grade Associando-se à Grade

1. Acesso ao portal, informando usuário e senha. Certificado do usuário é verificado e uma credencial temporária é gerada Portal 1 Computação em Grade Executando Job Computação em Grade Executando Job

Portal Usuário executa arquivo de configuração com os parâmetros de execução da aplicação desejada. 1.Acesso ao portal, informando usuário e senha. Computação em Grade Executando Job Computação em Grade Executando Job

Portal Resource Broker Solicitação de execução da aplicação é recebida por um módulo “Resource Broker”. 1.Acesso ao portal, informando usuário e senha; 2.Execução de arquivo de configuração da aplicação. Computação em Grade Executando Job Computação em Grade Executando Job

Portal Serviço de Informações Resource Broker “Resource Broker” consulta serviços de informações sobre recursos computacionais disponíveis. 1.Acesso ao portal, informando usuário e senha; 2.Execução de arquivo de configuração da aplicação; 3.Resource Broker recebe solicitação de execução. Computação em Grade Executando Job Computação em Grade Executando Job

Portal Serviço de Informações Resource Broker Serviço obtém informações a respeito dos recursos computacionais do grid. 1.Acesso ao portal, informando usuário e senha; 2.Execução de arquivo de configuração da aplicação; 3.Resource Broker recebe solicitação de execução; 4.Resource Broker consulta informações. Computação em Grade Executando Job Computação em Grade Executando Job

Portal Serviço de Informações Resource Broker “Resource Broker” dispara a aplicação nos recursos computacionais selecionados. 1.Acesso ao portal, informando usuário e senha; 2.Execução de arquivo de configuração da aplicação; 3.Resource Broker recebe solicitação de execução; 4.Resource Broker consulta informações; 5.Serviço de informações obtém dados sobre recursos. Computação em Grade Executando Job Computação em Grade Executando Job

7. Portal obtém informações sobre aplicações do usuário. Portal Serviço de Informações Resource Broker 1.Acesso ao portal, informando usuário e senha; 2.Execução de arquivo de configuração da aplicação; 3.Resource Broker recebe solicitação de execução; 4.Resource Broker consulta informações; 5.Serviço de informações obtém dados sobre recursos; 6.Resource Broker dispara execução de aplicação Computação em Grade Executando Job Computação em Grade Executando Job

“system that support parallel execution of applications in distribuited heterogeneous resources, offering consistent and inexpensive access to those resources independently of physical location” (Ian Foster). Computação em Grade Conceituando... Computação em Grade Conceituando...

BIBLIOGRAFIA Introdução à Computação em Grade Introdução à Computação em Grade