Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouHenri Toste Alterado mais de 10 anos atrás
1
Curso Grid Globus Monitoring and Discovery Service (MDS)
2
LabTeC - Curso Grid - II/UFRGS/DELL Autoria Autores – Alberto Egon Local – Instituto de Informática, UFRGS – 1a versão 2003, curso projeto Dell – Revisões v1 – Novembro de 2005 – C. Geyer
3
LabTeC - Curso Grid - II/UFRGS/DELL Roteiro Visão Geral do MDS Características Gerais Benefícios Arquitetura Tipos de Informações Disponibilizadas GRIS e GISS Usando o MDS Grid-Info-Search (exemplos) Visualização dos Resultados Performance e Temporização Directory Information Tree (DTI) LDAP e DTI Consultas e Information Model
4
LabTeC - Curso Grid - II/UFRGS/DELL Bibliografia Documentação do MDS do GT2.4 – http://www.globus.org/toolkit/docs/2.4/mds/ http://www.globus.org/toolkit/docs/2.4/mds/ – várias páginas com informações estruturadas Manual do usuário do MDS – http://www.globus.org/toolkit/docs/2.4/mds/mdsu sersguide.pdf http://www.globus.org/toolkit/docs/2.4/mds/mdsu sersguide.pdf – feito para o GT2.2, mas válido para o GT2.4 Hierarquias no MDS – http://www.globus.org/toolkit/docs/2.4/mds/hierar chical_GIIS.pdf
5
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Ambientes grid permitem que aplicações sejam integradas a: instrumentos displays recursos computacionais Aplicações geralmente utilizam grande quantidade de dados/recursos gerenciados por diferentes organizações Serviços de informações são necessários: prover mecanismos para descoberta e monitoração dos recursos utilizados (infra- estrutura Grid)
6
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Características Gerais do Monitoring and Discovery Service (MDS): Conjunto de componentes para serviço de informações Mecanismo para publicação e descoberta de status (dados dinâmicos) e informações de configuração (dados estáticos) de recursos Provê interface uniforme e flexível para os dados coletados (imagem única sobre recursos distintos) Estrutura descentralizada permite escalabilidade
7
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Benefícios do Uso do MDS: Através do MDS são realizadas consultas para descobrir propriedades de computadores, redes e recursos em geral: Quantos processadores estão disponíveis nesse momento? Qual a largura de banda provida? Qual o meio de armazenamento: fita ou disco? Usando um servidor LDAP, o MDS disponibiliza informações do middleware através de uma interface comum
8
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (1/3): O MDS possui uma estrutura hierárquica que consiste de 3 componentes principais: Information Providers (IPs): coletam os dados do recurso e se comunicam com o GRIS (''sensores'') Grid Resource Information Service (GRIS): executa em um recurso e atua como um gateway de informações para esse recurso Grid Index Information Service (GIIS): provê um diretório agregado (indexador) de dados que facilita a descoberta e monitoração
9
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (2/3):
10
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Arquitetura do MDS (3/3): Arquitetura flexível e hierárquica Pode apresentar composição em diversos níveis de GIISs Qualquer GRIS pode se registrar com qualquer GIIS, e qualquer GIIS pode se registrar com outro GIIS Estrutura das informações segue o modelo LDAP entidade é descrita por um conjunto de pares
11
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (1/3): Core Information Providers: Conjunto de Informartion Providers (IPs) incluídos no MDS Utilizados para publicar vários tipos de informações padrão no MDS Custom Information Providers: IPs criados pelos próprios usuários Disponibilizam informações quaisquer
12
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (2/3): Core Information Providers: Tipo de plataforma e arquitetura Nome e versão do sistema operacional CPU: tipo, número de CPUs, versão, velocidade, cache, etc... Memória (física e virtual): tamanho, espaço livre, etc... Interface de rede: nomes e endereços de hosts Sistema de arquivos: tamanho, espaço livre, etc...
13
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Tipos de informações disponibilizadas pelo MDS (3/3): Custom Information Providers: Estender arquitetura através da criação de novos IPs: Informações não disponibilizadas pelos IPs incluídos no MDS Publicar tipos específicos de dados que possam ser necessários por determinada aplicação Especificação pode ser obtida no site do Globus: http://www.globus.org/mds/creating_new_providers.pdf
14
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (1/5): Recursos executam um serviço de informação padrão (GRIS): utiliza LDAP obtem informações sobre o recurso Um GIIS disponibiliza um serviço de indexação e 'caching': também utiliza LDAP recursos se registram no GIIS quando clientes fazem alguma requisição: obtém a resposta através dos GRIS utiliza a cache se estiver disponível
15
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (2/5): GIIS exerce funções de indexação e procura de dados
16
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (3/5): Grid Resource Information Service (GRIS): Implementado como um servidor OpenLDAP pode ser customizado com IPs específicos responde queries pedindo informações (estáticas ou dinâmicas) sobre a máquina ou recursos locais Autentica e processa cada requisição, e então a despacha para um ou mais IPs locais Resultados são combinados e enviados de volta para o cliente
17
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (4/5): Grid Resource Information Service (GRIS): Comunicação GRIS-IP através de API bem definida O GRIS deve ser configurado com tipo de informação que IP irá disponibilizar rotinas que IP define para implementar a API do GRIS Resultados podem ser colocados em cache por um período de tempo configurável (TTL) Dados obtidos dos IPs são filtrados pelo GRIS
18
LabTeC - Curso Grid - II/UFRGS/DELL Visão Geral do MDS Princípios básicos do GRIS e GIIS (5/5): Grid Index Information Service (GIIS): Implementado como servidor OpenLDAP para a construção de diretórios agregados Papel fundamental em relação à escalabilidade: descoberta mais eficiente pois não requisita novas consultas junto a cada recurso Aceita requisições de registro de instâncias GRIS ou GIIS: combina esses servidores em um espaço de informações unificado
19
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Monitoring and Discovery Service (MDS) pode ser usado para: Localizar Recursos: Onde estão os recursos com a arquitetura requisitada, os softwares instalados, capacidade disponível e largura de banda necessária? Determinar características de um recurso: Quais são as características físicas, conectividade e capacidades de um determinado recurso?
20
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search: Utilizado para consultar dados disponibilizados pelo MDS Formato: grid-info-search [opções] Onde as opções são as seguintes:
21
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): -config file: especifica um arquivo de configuração para o MDS -mdshost host (-h): nome do host onde o servidor MDS está rodando (default é $GRID_INFO_HOST) -mdsport port (-p): é a porta na qual o servidor MDS está rodando (default é $GRID_INFO_PORT) -anonymous (-x): realiza o acesso ao servidor de forma anônima
22
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): -mdsbasedn branch-point (-b): local base na DIT para iniciar a busca (default é ${GRID_INFO_BASEDN}) -s scope: especifica o escopo da busca base: nível base da DTI one: nível base da DTI + 1 nível abaixo sub: nível base da DTI + todos níveis abaixo -giisregistrationstatus: solicita status do servidor onde o GIIS está realizando a consulta ''attribute'': especifica quais atributos serão apresentados no retorno da consulta (ex. MdsCpu)
23
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Comando grid-info-search (opções): ''filter'': define um critério para a consulta ''(attribute=value)'' ''(attribute>=value)'' ''(attribute<=value)'' ''(attribute~=value)'' ''(attribute=*)'' Procura pela presença de um item ''(attribute=*a)'' Procura por uma substring -mdstimeout seconds (-T): quantidade de tempo que alguém deve esperar pelo retorno de uma requisição (default é $GRID_INFO_TIMEOUT)
24
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (1): Consultar todos os objetos em uma única máquina configurada como um GRIS: grid-info-search -h giis-demo.globus.org -p 8463 -b 'Mds-vo-name=local, o=Grid' Consulta executa no host e na porta indicados Não especifica atributos (consulta todos) Mds-vo-name=local significa que a procura vai começar em um GRIS (observar uso da opção mdsbasedn)
25
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (1) - resultado: SASL/GSI-GSSAPI authentication started SASL SSF: 56 SASL installing layers version: 2 # # filter: (objectclass=*) # requesting: ALL # [...] Mds-Computer-isa: IA32 Mds-Computer-platform: i686 Mds-Computer-Total-nodeCount: 1 Mds-Cpu-Cache-l2kB: 512 [...]
26
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (2): Consultar a quantidade de espaço livre no sistema de arquivos das máquinas de um GIIS: grid-info-search -x -h giis-demo.globus.org -p 8422 -b 'Mds-Vo- name=site, o=Grid' Mds-Fs-freeMB A consulta utiliza amarração anônima (- x) e executa no host e na porta indicada Mds-vo-name=site significa que a procura vai começar em um GIIS
27
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (2) - resultado: # # filter: (objectclass=*) # requesting: Mds-Fs-freeMB # [...] # filesystems, jupiter.isi.edu, site, Grid dn: Mds-Device-Group-name=filesystems, Mds-Host-hn=jupiter.isi.edu, Mds-Vo-name=site, o=Grid Mds-Fs-freeMB: 1075 Mds-Fs-freeMB: 141 Mds-Fs-freeMB: 1711 Mds-Fs-freeMB: 2430 Mds-Fs-freeMB: 3657 Mds-Fs-freeMB: 4756 [...] branch-point Distinguished name
28
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (3): Consultar a velocidade e modelo da CPU em uma única máquina de um GIIS: grid-info-search -x -h giis-demo.globus.org -p 8422 -b 'Mds-Vo-name=site, o=Grid' '(&(objectclass=MdsCpu)(Mds-Host-hn=lucky6.mcs. anl.gov))' Mds-Cpu-model Mds-Cpu-speedMHz Utiliza amarração anônima (-x) e executa no host e na porta indicada Mds-vo-name=site significa que a procura vai começar em um GIIS Objectclass especifica a CPU em determinado host
29
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Exemplo grid-info-search (3) - resultado: # # filter: (&(objectclass=MdsCpu)(Mds-Host-hn= lucky6.mcs.anl.gov)) # requesting: Mds-Cpu-model Mds-Cpu-speedMHz # # lucky6.mcs.anl.gov, lucky6, site, Grid dn: Mds-Host-hn=lucky6.mcs.anl.gov, Mds-Vo-name=lucky6, Mds-Vo- name= site, o=Grid Mds-Cpu-model: Intel(R) Pentium(R) III CPU family 1133MHz Mds-Cpu-speedMHz: 1125
30
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Browsers LDAP (1/2): Navegadores LDAP proporcionam uma forma conveniente para consultar e examinar dados em um grid computacional Softerra Para sistema operacional Windows Interface semelhante ao Windows Explorer http://www.softerra.com Browser LDAP java-based Independente de plataforma; requisita versão Java 1.2.2 ou maior) http://www.mcs.anl.gov/~gawor/ldap
31
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Browsers LDAP (2/2): Navegador da Softerra Navegador baseado em Java
32
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (1/3): Tempo de retorno dos resultados de um comando grid-info-search pode ser afetado por uma série de fatores: Complexidade da hierarquia (GRIS e GIIS) Performance dos IPs acessados pelo GRIS: overhead para obter os dados (relacionado à forma de aquisição) grande quantidade de dados Performance dos GRIS acessados pelo GIIS TTL configurado para manter os dados em cache
33
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (2/3):
34
LabTeC - Curso Grid - II/UFRGS/DELL Usando o MDS Questões sobre performance e temporização (3/3): O arquivo grid-info-resource-register.conf informa: Lista de servidores GIIS onde o GRIS deve ser registrado Parâmetro regperiod: intervalo para o envio de notificações de disponibilidade (heartbeats) Parâmetro ttl: intervalo para manter infos de existência dos "subordinados" (2 * regperiod) Parâmetro cachettl: usado para definir o tempo que os dados devem ser mantidos na cache
35
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) A estrutura de diretórios do MDS segue o modelo LDAP, que consiste de uma hierarquia DTI e definições de classes de objetos Definição de LDAP (1/2): Protocolo cliente-servidor para armazenar informações e responder consultas NÃO é um banco de dados, mas um protocolo para acesso a bancos de dados e diretórios Mantém pequenos registros de informação, em estrutura hierárquica (~= sistema de arquivos)
36
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Definição de LDAP (2/2): Comunicações: Client-to-server: Permite a aplicações de usuários acessar um servidor LDAP e criar, consultar, modificar e deletar dados Server-to-server: Define como múltiplos servidores compartilham o conteúdo de uma DIT e como eles atualizam e replicam esses dados
37
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Directory Information Tree (1/2): Estrutura básica do LDAP é uma árvore de informações (DTI) Partindo de um nodo raíz, contém uma visão hierárquica de todos os seus dados Descoberta de recursos é desempenhada por uma procura hierárquica dessa árvore As sub-árvores da DIT podem ser distribuídas ou replicadas Modelo de dados utiliza classes de objetos para caracterizar recursos Cada objeto contém valores associados a atributos nomeados, de acordo com o tipo do objeto
38
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Directory Information Tree (2/2): Tipos de estruturas presentes na DTI: Object classes: descrevem o tipo de informação que pode/deve ser armazenada no diretório Records: pares. Possui um tipo definido pela associação com um Object Class Entries: cada um dos nodos da árvore (agrupam informações relacionadas)
39
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Consultas/operações (1/2): LDAP é um serviço global de diretórios usado para procurar informações Um ou mais servidores LDAP contém os dados que formam a árvore de diretórios A sessão LDAP é extremamente simples: O cliente contata o servidor O servidor pode solicitar uma autenticação Uma vez estabelecida a conexão, o cliente pode enviar comandos LDAP de consulta
40
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) Consultas/operações (2/2): Consulta envia parâmetros para servidor. Uma consulta completa envolve os seguintes parâmetros: A árvore ou sub-árvore em que se quer procurar Quantos níveis da árvore serão utilizados na procura Como utilizar ''aliases'' para outras partes da árvore O limite de tempo da consulta (timeout) Um filtro a ser aplicado sobre os dados A lista de atributos a serem retornados
41
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (1/4): O Information Model utilizado na hierarquia de objetos de um host é o seguinte: Mds-Host-name=hostname Mds-Software-Deployment=operating system Mds-Device-Group-name=processors Mds-Device-name=cpu 0 Mds-Device-name=cpu 1 Mds-Device-Group-name=memory Mds-Device-name=physical memory Mds-Device-name=virtual memory Mds-Device-Group-name=filesystems Mds-Device-name=/scratch1 Mds-Device-Group-name=networks Mds-Device-name=eth0
42
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (2/4): Representação gráfica equivalente:
43
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (3/4): Uma folha contém informações de um único recurso: dn: Mds-Device-name=physical memory, Mds-Device-Group- name=memory,... objectclass: Mds objectclass: MdsDevice objectclass: MdsMemoryRam Mds-Device-name: physical memory Mds-Memory-Ram-sizeMB: 751 Mds-Memory-Ram-freeMB: 642
44
LabTeC - Curso Grid - II/UFRGS/DELL Directory Information Tree (DTI) MDS Information Model (4/4):... enquanto um nodo pai pode conter as informações combinadas de várias instâncias: dn: Mds-Device-Group-name=memory,... objectclass: MdsMemoryRamTotal objectclass: MdsMemoryVmTotal objectclass: MdsDeviceGroup Mds-Device-Group-name: memory Mds-Memory-Ram-Total-sizeMB: 751 Mds-Memory-Ram-Total-freeMB: 642 Mds-Memory-Vm-Total-sizeMB: 1600 Mds-Memory-Vm-Total-freeMB: 1592 Mds-Memory-Ram-sizeMB: 751 Mds-Memory-Ram-freeMB: 642 Mds-Memory-Vm-sizeMB: 1600 Mds-Memory-Vm-freeMB: 1592
45
LabTeC - Curso Grid - II/UFRGS/DELL MDS e GTs GT 2.4 – O MDS do GT2.4 não é instalado (default) no GT4 – Problema: falhas de segurança em versões antigas do OpenLDAP e do Cyrus SASL – Versões não suportadas do MDS 2.4 com versões mais recentes do OpenLDAP e Cyrus podem ser baixadas – MDS 2.4 não será fornecido em futuras versões do GT4 (GT 4.2)
46
Curso Grid Globus Monitoring and Discovery Service (MDS)
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.