A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Curso Grid Globus Monitoring and Discovery Service (MDS)

Apresentações semelhantes


Apresentação em tema: "Curso Grid Globus Monitoring and Discovery Service (MDS)"— Transcrição da apresentação:

1 Curso Grid Globus Monitoring and Discovery Service (MDS)

2 LabTeC - Curso Grid - II/UFRGS/DELL Autoria Autores – Alberto Egon Local – Instituto de Informática, UFRGS – 1a versão 2003, curso projeto Dell – Revisões v1 – Novembro de 2005 – C. Geyer

3 LabTeC - Curso Grid - II/UFRGS/DELL Roteiro Visão Geral do MDS ­ Características Gerais ­ Benefícios ­ Arquitetura ­ Tipos de Informações Disponibilizadas ­ GRIS e GISS Usando o MDS ­ Grid-Info-Search (exemplos) ­ Visualização dos Resultados ­ Performance e Temporização Directory Information Tree (DTI) ­ LDAP e DTI ­ Consultas e Information Model

4 LabTeC - Curso Grid - II/UFRGS/DELL Bibliografia Documentação do MDS do GT2.4 – – várias páginas com informações estruturadas Manual do usuário do MDS – sersguide.pdf sersguide.pdf – feito para o GT2.2, mas válido para o GT2.4 Hierarquias no MDS – chical_GIIS.pdf

5 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Ambientes grid permitem que aplicações sejam integradas a: ­ instrumentos ­ displays ­ recursos computacionais Aplicações geralmente utilizam grande quantidade de dados/recursos gerenciados por diferentes organizações Serviços de informações são necessários: ­ prover mecanismos para descoberta e monitoração dos recursos utilizados (infra- estrutura Grid)

6 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Características Gerais do Monitoring and Discovery Service (MDS): Conjunto de componentes para serviço de informações Mecanismo para publicação e descoberta de status (dados dinâmicos) e informações de configuração (dados estáticos) de recursos Provê interface uniforme e flexível para os dados coletados (imagem única sobre recursos distintos) Estrutura descentralizada permite escalabilidade

7 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Benefícios do Uso do MDS: Através do MDS são realizadas consultas para descobrir propriedades de computadores, redes e recursos em geral: ­ Quantos processadores estão disponíveis nesse momento? ­ Qual a largura de banda provida? ­ Qual o meio de armazenamento: fita ou disco? Usando um servidor LDAP, o MDS disponibiliza informações do middleware através de uma interface comum

8 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (1/3): O MDS possui uma estrutura hierárquica que consiste de 3 componentes principais: ­ Information Providers (IPs): coletam os dados do recurso e se comunicam com o GRIS (''sensores'') ­ Grid Resource Information Service (GRIS): executa em um recurso e atua como um gateway de informações para esse recurso ­ Grid Index Information Service (GIIS): provê um diretório agregado (indexador) de dados que facilita a descoberta e monitoração

9 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (2/3):

10 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (3/3): Arquitetura flexível e hierárquica Pode apresentar composição em diversos níveis de GIISs Qualquer GRIS pode se registrar com qualquer GIIS, e qualquer GIIS pode se registrar com outro GIIS Estrutura das informações segue o modelo LDAP ­ entidade é descrita por um conjunto de pares

11 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (1/3): Core Information Providers: ­ Conjunto de Informartion Providers (IPs) incluídos no MDS ­ Utilizados para publicar vários tipos de informações padrão no MDS Custom Information Providers: ­ IPs criados pelos próprios usuários ­ Disponibilizam informações quaisquer

12 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (2/3): Core Information Providers: ­ Tipo de plataforma e arquitetura ­ Nome e versão do sistema operacional ­ CPU: tipo, número de CPUs, versão, velocidade, cache, etc... ­ Memória (física e virtual): tamanho, espaço livre, etc... ­ Interface de rede: nomes e endereços de hosts ­ Sistema de arquivos: tamanho, espaço livre, etc...

13 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (3/3): Custom Information Providers: ­ Estender arquitetura através da criação de novos IPs: Informações não disponibilizadas pelos IPs incluídos no MDS Publicar tipos específicos de dados que possam ser necessários por determinada aplicação ­ Especificação pode ser obtida no site do Globus:

14 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (1/5): Recursos executam um serviço de informação padrão (GRIS): ­ utiliza LDAP ­ obtem informações sobre o recurso Um GIIS disponibiliza um serviço de indexação e 'caching': ­ também utiliza LDAP ­ recursos se registram no GIIS ­ quando clientes fazem alguma requisição: obtém a resposta através dos GRIS utiliza a cache se estiver disponível

15 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (2/5): GIIS exerce funções de indexação e procura de dados

16 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (3/5): Grid Resource Information Service (GRIS): ­ Implementado como um servidor OpenLDAP pode ser customizado com IPs específicos responde queries pedindo informações (estáticas ou dinâmicas) sobre a máquina ou recursos locais ­ Autentica e processa cada requisição, e então a despacha para um ou mais IPs locais ­ Resultados são combinados e enviados de volta para o cliente

17 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (4/5): Grid Resource Information Service (GRIS): ­ Comunicação GRIS-IP através de API bem definida ­ O GRIS deve ser configurado com tipo de informação que IP irá disponibilizar rotinas que IP define para implementar a API do GRIS ­ Resultados podem ser colocados em cache por um período de tempo configurável (TTL) ­ Dados obtidos dos IPs são filtrados pelo GRIS

18 LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (5/5): Grid Index Information Service (GIIS): ­ Implementado como servidor OpenLDAP para a construção de diretórios agregados ­ Papel fundamental em relação à escalabilidade: descoberta mais eficiente pois não requisita novas consultas junto a cada recurso ­ Aceita requisições de registro de instâncias GRIS ou GIIS: combina esses servidores em um espaço de informações unificado

19 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Monitoring and Discovery Service (MDS) pode ser usado para: Localizar Recursos: ­ Onde estão os recursos com a arquitetura requisitada, os softwares instalados, capacidade disponível e largura de banda necessária? Determinar características de um recurso: ­ Quais são as características físicas, conectividade e capacidades de um determinado recurso?

20 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search: Utilizado para consultar dados disponibilizados pelo MDS Formato: grid-info-search [opções] Onde as opções são as seguintes:

21 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): -config file: especifica um arquivo de configuração para o MDS -mdshost host (-h): nome do host onde o servidor MDS está rodando (default é $GRID_INFO_HOST) -mdsport port (-p): é a porta na qual o servidor MDS está rodando (default é $GRID_INFO_PORT) -anonymous (-x): realiza o acesso ao servidor de forma anônima

22 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): -mdsbasedn branch-point (-b): local base na DIT para iniciar a busca (default é ${GRID_INFO_BASEDN}) -s scope: especifica o escopo da busca ­ base: nível base da DTI ­ one: nível base da DTI + 1 nível abaixo ­ sub: nível base da DTI + todos níveis abaixo -giisregistrationstatus: solicita status do servidor onde o GIIS está realizando a consulta ''attribute'': especifica quais atributos serão apresentados no retorno da consulta (ex. MdsCpu)

23 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): ''filter'': define um critério para a consulta ­ ''(attribute=value)'' ­ ''(attribute>=value)'' ­ ''(attribute<=value)'' ­ ''(attribute~=value)'' ­ ''(attribute=*)'' Procura pela presença de um item ­ ''(attribute=*a)'' Procura por uma substring -mdstimeout seconds (-T): quantidade de tempo que alguém deve esperar pelo retorno de uma requisição (default é $GRID_INFO_TIMEOUT)

24 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (1): Consultar todos os objetos em uma única máquina configurada como um GRIS: grid-info-search -h giis-demo.globus.org -p b 'Mds-vo-name=local, o=Grid' Consulta executa no host e na porta indicados Não especifica atributos (consulta todos) Mds-vo-name=local significa que a procura vai começar em um GRIS (observar uso da opção mdsbasedn)

25 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (1) - resultado: SASL/GSI-GSSAPI authentication started SASL SSF: 56 SASL installing layers version: 2 # # filter: (objectclass=*) # requesting: ALL # [...] Mds-Computer-isa: IA32 Mds-Computer-platform: i686 Mds-Computer-Total-nodeCount: 1 Mds-Cpu-Cache-l2kB: 512 [...]

26 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (2): Consultar a quantidade de espaço livre no sistema de arquivos das máquinas de um GIIS: grid-info-search -x -h giis-demo.globus.org -p b 'Mds-Vo- name=site, o=Grid' Mds-Fs-freeMB A consulta utiliza amarração anônima (- x) e executa no host e na porta indicada Mds-vo-name=site significa que a procura vai começar em um GIIS

27 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (2) - resultado: # # filter: (objectclass=*) # requesting: Mds-Fs-freeMB # [...] # filesystems, jupiter.isi.edu, site, Grid dn: Mds-Device-Group-name=filesystems, Mds-Host-hn=jupiter.isi.edu, Mds-Vo-name=site, o=Grid Mds-Fs-freeMB: 1075 Mds-Fs-freeMB: 141 Mds-Fs-freeMB: 1711 Mds-Fs-freeMB: 2430 Mds-Fs-freeMB: 3657 Mds-Fs-freeMB: 4756 [...] branch-point Distinguished name

28 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (3): Consultar a velocidade e modelo da CPU em uma única máquina de um GIIS: grid-info-search -x -h giis-demo.globus.org -p b 'Mds-Vo-name=site, o=Grid' '(&(objectclass=MdsCpu)(Mds-Host-hn=lucky6.mcs. anl.gov))' Mds-Cpu-model Mds-Cpu-speedMHz Utiliza amarração anônima (-x) e executa no host e na porta indicada Mds-vo-name=site significa que a procura vai começar em um GIIS Objectclass especifica a CPU em determinado host

29 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (3) - resultado: # # filter: (&(objectclass=MdsCpu)(Mds-Host-hn= lucky6.mcs.anl.gov)) # requesting: Mds-Cpu-model Mds-Cpu-speedMHz # # lucky6.mcs.anl.gov, lucky6, site, Grid dn: Mds-Host-hn=lucky6.mcs.anl.gov, Mds-Vo-name=lucky6, Mds-Vo- name= site, o=Grid Mds-Cpu-model: Intel(R) Pentium(R) III CPU family 1133MHz Mds-Cpu-speedMHz: 1125

30 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Browsers LDAP (1/2): Navegadores LDAP proporcionam uma forma conveniente para consultar e examinar dados em um grid computacional Softerra ­ Para sistema operacional Windows ­ Interface semelhante ao Windows Explorer ­ Browser LDAP java-based ­ Independente de plataforma; requisita versão Java ou maior) ­

31 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Browsers LDAP (2/2): Navegador da Softerra Navegador baseado em Java

32 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (1/3): Tempo de retorno dos resultados de um comando grid-info-search pode ser afetado por uma série de fatores: ­ Complexidade da hierarquia (GRIS e GIIS) ­ Performance dos IPs acessados pelo GRIS: overhead para obter os dados (relacionado à forma de aquisição) grande quantidade de dados ­ Performance dos GRIS acessados pelo GIIS ­ TTL configurado para manter os dados em cache

33 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (2/3):

34 LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (3/3): O arquivo grid-info-resource-register.conf informa: ­ Lista de servidores GIIS onde o GRIS deve ser registrado ­ Parâmetro regperiod: intervalo para o envio de notificações de disponibilidade (heartbeats) ­ Parâmetro ttl: intervalo para manter infos de existência dos "subordinados" (2 * regperiod) ­ Parâmetro cachettl: usado para definir o tempo que os dados devem ser mantidos na cache

35 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) A estrutura de diretórios do MDS segue o modelo LDAP, que consiste de uma hierarquia DTI e definições de classes de objetos Definição de LDAP (1/2): Protocolo cliente-servidor para armazenar informações e responder consultas NÃO é um banco de dados, mas um protocolo para acesso a bancos de dados e diretórios Mantém pequenos registros de informação, em estrutura hierárquica (~= sistema de arquivos)

36 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Definição de LDAP (2/2): Comunicações: ­ Client-to-server: Permite a aplicações de usuários acessar um servidor LDAP e criar, consultar, modificar e deletar dados ­ Server-to-server: Define como múltiplos servidores compartilham o conteúdo de uma DIT e como eles atualizam e replicam esses dados

37 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Directory Information Tree (1/2): Estrutura básica do LDAP é uma árvore de informações (DTI) Partindo de um nodo raíz, contém uma visão hierárquica de todos os seus dados Descoberta de recursos é desempenhada por uma procura hierárquica dessa árvore As sub-árvores da DIT podem ser distribuídas ou replicadas Modelo de dados utiliza classes de objetos para caracterizar recursos Cada objeto contém valores associados a atributos nomeados, de acordo com o tipo do objeto

38 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Directory Information Tree (2/2): Tipos de estruturas presentes na DTI: ­ Object classes: descrevem o tipo de informação que pode/deve ser armazenada no diretório ­ Records: pares. Possui um tipo definido pela associação com um Object Class ­ Entries: cada um dos nodos da árvore (agrupam informações relacionadas)

39 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Consultas/operações (1/2): LDAP é um serviço global de diretórios usado para procurar informações Um ou mais servidores LDAP contém os dados que formam a árvore de diretórios A sessão LDAP é extremamente simples: ­ O cliente contata o servidor ­ O servidor pode solicitar uma autenticação ­ Uma vez estabelecida a conexão, o cliente pode enviar comandos LDAP de consulta

40 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Consultas/operações (2/2): Consulta envia parâmetros para servidor. Uma consulta completa envolve os seguintes parâmetros: A árvore ou sub-árvore em que se quer procurar Quantos níveis da árvore serão utilizados na procura Como utilizar ''aliases'' para outras partes da árvore O limite de tempo da consulta (timeout) Um filtro a ser aplicado sobre os dados A lista de atributos a serem retornados

41 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (1/4): O Information Model utilizado na hierarquia de objetos de um host é o seguinte: Mds-Host-name=hostname Mds-Software-Deployment=operating system Mds-Device-Group-name=processors Mds-Device-name=cpu 0 Mds-Device-name=cpu 1 Mds-Device-Group-name=memory Mds-Device-name=physical memory Mds-Device-name=virtual memory Mds-Device-Group-name=filesystems Mds-Device-name=/scratch1 Mds-Device-Group-name=networks Mds-Device-name=eth0

42 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (2/4): Representação gráfica equivalente:

43 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (3/4): Uma folha contém informações de um único recurso: dn: Mds-Device-name=physical memory, Mds-Device-Group- name=memory,... objectclass: Mds objectclass: MdsDevice objectclass: MdsMemoryRam Mds-Device-name: physical memory Mds-Memory-Ram-sizeMB: 751 Mds-Memory-Ram-freeMB: 642

44 LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (4/4):... enquanto um nodo pai pode conter as informações combinadas de várias instâncias: dn: Mds-Device-Group-name=memory,... objectclass: MdsMemoryRamTotal objectclass: MdsMemoryVmTotal objectclass: MdsDeviceGroup Mds-Device-Group-name: memory Mds-Memory-Ram-Total-sizeMB: 751 Mds-Memory-Ram-Total-freeMB: 642 Mds-Memory-Vm-Total-sizeMB: 1600 Mds-Memory-Vm-Total-freeMB: 1592 Mds-Memory-Ram-sizeMB: 751 Mds-Memory-Ram-freeMB: 642 Mds-Memory-Vm-sizeMB: 1600 Mds-Memory-Vm-freeMB: 1592

45 LabTeC - Curso Grid - II/UFRGS/DELL MDS e GTs GT 2.4 – O MDS do GT2.4 não é instalado (default) no GT4 – Problema: falhas de segurança em versões antigas do OpenLDAP e do Cyrus SASL – Versões não suportadas do MDS 2.4 com versões mais recentes do OpenLDAP e Cyrus podem ser baixadas – MDS 2.4 não será fornecido em futuras versões do GT4 (GT 4.2)

46 Curso Grid Globus Monitoring and Discovery Service (MDS)


Carregar ppt "Curso Grid Globus Monitoring and Discovery Service (MDS)"

Apresentações semelhantes


Anúncios Google