Tópicos em redes e sistemas distribuídos B

Apresentação em tema: "Tópicos em redes e sistemas distribuídos B"— Transcrição da apresentação:

1 Tópicos em redes e sistemas distribuídos B
Carlos Oberdan Rolim Ciência da Computação

2 Grid Computing

3 Motivação Anos 70 -> mainframe: computação centralizada
Anos 80 -> descentralização, uso de redes locais criou Ilhas computacionais nas instituições Baixo nível de utilização: estações de trabalho passam maior tempo ociosas Distribuição desproporcional de carga de trabalho: alguns servidores passam ocupados a maior parte do tempo enquanto outros não Necessidade de alto poder de processamento atual e tende a aumentar no futuro Necessidade de ambiente dinâmico, auto-ajustável, com alta disponibilidade, com escalável, TCO adequado

4 Motivação Como cientistas podem fazer para trocar informações de forma transparente entre instituições ? Como proporcionar a demanda de recursos necessários pelas aplicações ? Como melhor aproveitar os recursos disponíveis? Como integrar diferentes tipos de recursos = Ambiente heterogêneo? Como gerenciar a enorme quantidade de recursos existentes?

5 Motivação Observações sobre clusters
a) limitação de número de nodos pelo sistema b) escalabilidade do desempenho: aplicação precisa estar preparada c) overhead das atividades de gerenciamento do próprio cluster: ganho não linear – aproveitamento de somente 80% da capacidade do poder de cada máquina envolvida d) desempenho depende da característica da aplicação. Escrita em excesso degrada performance e) Flexibilidade de configuração: é permitido existir diferentes sistemas operacionais ? f) Diferentes protocolos podem ser usados ? g) Sistema de arquivo: existe sistema de volume lógicos (virtuais) ? h) Recursos de gerenciamento: pode-se gerenciar o cluster de forma descentalizada ? j) transparência: não obrigar usuário a alterar seus sistemas para tirar proveito da solução

6 Passo evolutivo Grid Computing !!!

7 Grid: um novo modelo computacional
É uma evolução da computação distribuída Analogia a rede elétrica tradicional que fornece energia de forma transparente e sob demanda Tem como objetivo criar a ilusão de um e poderoso computador virtual através da interconexão de vários sistemas heterogêneos que compartilham recursos entre si Tem como proposta ser uma infra-estrutura de computação que atende às necessidades computacionais dos usuários abstraindo os detalhes de como esse atendimento é realizado Distribuição geográfica dos sistemas, exigindo recursos administrativos e gerenciais que permitam autonomia entre os diversos sites Sistemas heterogêneos Altamente escalável Ambiente completamente dinâmico. Adaptativo, ocorre a autoconfiguração quando um nodo entra ou sai do ambiente Foco das aplicações é o compartilhamento de recursos em grande escala Surge o conceito de Organizações virtuais

8 Organização virtual Paradigma administrativo de redes virtuais organizacionais Rede é um tipo organização dinâmico e cooperativo criada para explorar as oportunidades do mercado Rede baseia-se em competências especializadas onde cada membro contribui com conhecimento especifico para melhora do todo Mudança na hierarquia rígida das organizações tradicionais. Hierarquia tende a desaparecer para haver cooperação de múltiplos especialistas de diversas áreas

9 Organização virtual Propõe o uso compartilhado de recursos pela organização Capacidade de organização de diferentes comunidades com diferentes propósitos e diferentes políticas Membros de uma organização podem participar de outra organização Virtualização de recursos: homogeneização dos recursos usados pela organização

10 Organização virtual Estrutura de organização virtual

11 Definição de grid “É um ambiente computacional distribuído paralelo que tem como objetivo alcançar a interoperabilidade entre as organizações virtuais, através da habilidade de cooperação, de compartilhamento e agregação de recursos computacionais geograficamente distribuídos de forma a disponibilizá-los como recursos e serviços.”

12 Exemplo de uma grid simples dentro de uma organização

13 Exemplo de uma grid complexa interligando diferentes organizações

14 Serviços orientados aos usuários
Estrutura de uma grid Camada de aplicações Portais de acesso e programas que exploram a potencialidade das grids Serviços orientados aos usuários Ambiente de programação em grid Middleware Serviços básicos como gestão de recursos distribuidos Elementos básicos Recursos computacionais como servidores, desktops e seus sistemas operacionais

15 Arquitetura da grid Estrutura: é responsável diretamente pelo compartilhamento e gerenciamento de acesso aos recursos da grade. Conectividade: é responsável pela definição dos protocolos que são utilizados na comunicação entre os recursos da grade Recursos: é a camada responsável pelo monitoramento e controle de recursos. Serve como uma camada intermediária entre as camadas superiores e as mais baixas Coletividade: proporciona mecanismos para que aconteça o compartilhamento e a alocação de recursos de forma global dentro da grade. Esses mecanismos estão relacionados diretamente ao gerenciamento das organizações virtuais existentes no ambiente. Aplicação: é a camada onde ficam as aplicações que fazem o uso das funcionalidades proporcionadas pela grade computacional. Comparação do modelo de camadas da arquitetura de grades computacional em relação à arquitetura Internet

16 O que a grid pode fazer ? Compartilhamento de processamento
Execução de tarefas paralelamente Tarefas são “quebradas” em pequenas partes (jobs) e estas então alocadas para execução em diferentes computadores No final o resultado de cada um desses jobs é recuperado e então o resultado final obtido

17 O que a grid pode fazer ? Balanceamento de recursos: a carga de execução das tarefas é distribuída igualmente entre as máquinas componentes da grid Aproveitamento de recursos não utilizados: as máquinas que estão ociosas (por exemplo, durante a madrugada ou no horário do almoço) podem ser utilizadas para execução de tarefas)

18 O que a grid pode fazer ? Compartilhamento de disco
São criados “data grids” que são vistos como grandes unidades de armazenamento. Os dados são gravados de forma distribuída entre os diferentes componentes da grid Grid mantém controle sobre como recuperar e gravar os dados Usuário tem acesso aos dados de forma transparente

19 O que a grid pode fazer ? Confiança na execução de trabalhos críticos
Tarefas críticas podem ser executadas em mais de um local de forma simultânea, caso algum dos locais falhe ou o resultado não seja o desejável o resultado do outro local é utilizado

20 O que a grid pode fazer ? Gerenciamento de grandes ambientes de forma simplificada e centralizada: no momento em que um equipamento é conectado na grid ele passa a ser visto como um nodo da rede. Suas características são abstraídas O gerente ou a aplicação preocupa-se em acessar nodos e não equipamentos específicos

21 Paralelo Grid x Cluster
Solucionar problemas da organização = Local Disponibilizar recursos e serviços de uma forma geograficamente distribuída Gerenciamento por uma autoridade central Cada organização virtual gerencia seus recursos mantendo a visão única do sistema Voltado a performance e disponibilidade Além disso prioridade para prestação de serviços Custo para a organização Custo dissolvido entre as organizações Devido a natureza das aplicações não permite latência na comunicação Permite latência devido as aplicações paralelas possuírem pouca ou nenhuma comunicação entre as tasks

22 Exemplos de uso de grid Projeto projeto pioneiro de uso de grade computacional em grande escala e tem por finalidade a busca de vida inteligente fora da terra. Url:

23 Exemplos de uso de grid ChessBrain: busca criar um supercomputador virtual capaz de jogar xadrez utilizando a capacidade ociosa de milhares de máquinas. Url:

24 Exemplos de uso de grid Climaprediction: através do uso da capacidade ociosa de computadores busca fazer a simulação do sistema climático para facilitar a maior compreensão dos fenomemos envolvidos nas mudanças do clima Url: Grid.org: concentra vários projetos filantrópicos que fazem uso de grade computacional. Entre os projetos está um relacionado a cura do câncer. Url:

25 Exemplos de uso de grid Distributed.net: é formado por milhares de computadores distribuídos em todo o mundo. Tem o poder computacional equivalente a mais de computadores pentium 266Mhz trabalhando 24 horas por dia. Entre os mais interessantes resultados obtidos por esse projeto está a quebra de um algoritmo de criptografia do laboratório RSA com chave de 56 bits considerado imune a quebras em dias, a quebra da chave do DES-II-1 em 40 dias e também a quebra de criptografia com chave de 64 bits em 1757 dias. Url: é um projeto que visa efetuar simulações de novas drogas contra a ADIS através da ociosidade de computadores voluntários. Url: projeto destinado ao processamento de proteínas do corpo humano, essa área é considerada chave nas pesquisas da moderna biofísica molecular. Url:

26 Exemplos de uso de grid Exemplos de grid de alto desempenho
Teragrid é um dos maiores projetos de grade. Foi criado pelo laboratório de Argone e financiado pelo Departamento de Energia dos Estados Unidos. Interliga 8 centros de computação de alto desempenho. Sua capacidade é de mais de 20 trilhões de pontos flutuantes por segundo. Isso equivale a 8 vezes a velocidade do mais poderoso super-computador atual. Url: Eurogrid: projeto custeado por países da Comissão Européia. Visa dar suporte a computação de alto desempenho a projetos como BioGrid (pesquisas biomoleculares), MeteoGrid (pesquisas meteorológicas), CAEGrid (projetos de engenharia baseados em Computer Aided Engineering), HPC Research grid (projetos de simulações físicas). Url:

27 Exemplos de uso de grid Exemplos de grid de alto desempenho (continuação) DataGrid: projeto europeu que visa proporcionar computação de alto desempenho para pesquisadores europeus tanto acadêmicos quanto da indústria. Url: httpd:// DOE Science grid: projeto criado pelo DOE dos EUA para projetos de pesquisa relacionados com a área de energia. Url: Nasa Information Power Grid: desenvolvido pela Nasa para auxiliar no desenvolvimento de pesquisas e simulações espaciais. Url:

28 Exemplos de uso de grid Exemplos de uso de grid no Brasil
Grid Rio: projeto que envolve instituições acadêmicas do estado do Rio de Janeiro Url: ( CBPF: projeto experimental para uso de grade computacional em simulações físicas. Url: GRADE: projeto desenvolvido pelo Laboratório Nacional de Computação Científica (LNCC). Tem por objetivo a construção de uma grade composta por cluster distribuídos geograficamente. Url: Grid-M: projeto para desenvolvimento de grid para dispositivos móveis e embarcados UFSC URL:

29 Softwares para grid Globus Unicore Legion Condor Gridbus