Computing on large scale distributed systems: experience of the XtremWeb project CMP-157 PROGRAMAÇÃO PARALELA E DISTRIBUÍDA Prof. Cláudio Fernando Resin.

Apresentação em tema: "Computing on large scale distributed systems: experience of the XtremWeb project CMP-157 PROGRAMAÇÃO PARALELA E DISTRIBUÍDA Prof. Cláudio Fernando Resin."— Transcrição da apresentação:

1 Computing on large scale distributed systems: experience of the XtremWeb project CMP-157 PROGRAMAÇÃO PARALELA E DISTRIBUÍDA Prof. Cláudio Fernando Resin Geyer Aluno: Emerson André Fedechen Apresentação TL1

2 Motivação O desenvolvimento de uma tecnologia capaz de transformar um LSDS (Sistema Distribuído de Larga Escala) em um computador paralelo para usuários clássicos. Administração e interface de programação e possivelmente utilizando mecanismos totalmente descentralizados (P2P) para a implementação de novas funcionalidades do sistema. Explorar recursos subutilizados e distribuídos; Balanço de carga; Prover adaptabilidade à aplicação;

3 Estado da Arte Desenvolvimento de um modelo de Computação Global, multi-usuário e multi-aplicação, objetivando a execução de aplicações externas em recursos participantes, estendendo as soluções clássicas LSDS (volatibilidade e heterogeinidade) para o suporte de aplicações paralelas mantendo uma complexidade razoável ao usuário. Estabelecimento de políticas de segurança visando a proteção dos nós participantes e certificação dos resultados encontrados.

4 Objetivos Execução de várias aplicações (milhares) heterogêneas; Prover segurança e transparência aos usuários (um trabalhador pode ser cliente). Fornecer escalabilidade dinâmica; Executar mecanismos de tolerância a falhas. Processar aplicações paralelas e concorrentes; Proporcionar um sistema adaptável. (P2P, cliente- servidor) com vários servidores conectados.

5 Modelo Camadas da arquitetura atual. “ Launcher” (JXTA juxtapose) Infra-estrutura de comunicação Publicação, descoberta e construção de serviços Servidores de requisição Escalonadores Repositórios de tarefas Servidores de resultados API comp. Paralela e runtime API (lunching e termination) Serviços e runtime (tolerância a falhas)

6 Princípios da XtremWeb Arquitetura de coordenação de 3 camadas Cliente – Coordenador – Trabalhador; Mecanismo de segurança baseado em decisões autônomas; Design de tolerância a falhas permitindo a mobilidade de clientes, a volatibilidade de trabalhadores e serviços de coordenação de falhas. Organização: - Procedimentos de instalação e upgrade; - Politicas de segurança. ( Home PCs, Universidades, Redes Privadas, Clusters ) Comunicação: - “Conexão”: habilita a conexão entre entidades possivelmente protegidas por firewalls ou atrás de proxies ou NAT.(JavaRMI, XML-RPC) - “Transporte”: é responsável pelo transporte seguro de mensagens; (TCP/IP, SSL, criptografia e autenticação) - “Protocolo”: acumula múltiplas variações de APIs de RPCs. (corba, SOAP, Sun RPC)

7 Serviços Coordenador: Repositório, escalonador e servidor de resultados. Trabalhador: reservatório de tarefas, a execução de thread, e o monitor de atividades. Cliente:identificação, submissão de tarefas e recuperação de resultados. RPCs Concorrentes: Cliente Servidor GridRPC – netSolve e Ninf (grade) OmniRPC – cluster e grade XWRPC – mecanismo estudado (funções elementares) Init(args): inicialização padrão; Finalize(): finalizador; Call(fct, in/out params) chamada bloqueante;

8 Tolerância a Falhas MPICH-V: - biblioteca de comunicação: pode ser ligada com qualquer programa MPI. - ambiente de runtime: reponsável pela distribuição de processos, detecção de falhas, restart, escalonamento, etc MPICH-V1 e MPICH-V2: Protocolos de checkpoint e logs.

9 Desempenho XWRPC 100 tarefas de 15s cada, na plataforma XtremWeb usando PCs AMD 1.5 GHz (500 Mb RAM) conectadas por uma rede switched ethernet de 100 Mbps. São analisados 16 processadores (trabalhadores) quando falhas transientes ou definitivas são geradas artificialmente. Aumento de 12% a 78% no tempo

10 Análise de implementações MPI Análise de dois extremos da comunicação a rádio. MPICH-P4 : a referência para TCP x MPICH-V1 x MPICH-V2

11 Conclusão Observa-se que o atual estado do projeto de Sistemas Distribuídos em Larga Escala XtremWeb, apresenta um paradigma negativo quanto a possibilidade de se criar um sistema XtremWeb genérico, que apresente sempre o melhor desempenho quanto ao controle de mensagens, segurança e tolerância a falhas em diferentes ambientes. Apresenta-se que a tecnologia oferece suporte e técnicas para um bom desempenho em aplicações heterogêneas individualmente, com transparência ao usuário, escalabilidade e tolerância a falhas do sistema.

12 Notas a) Motivação e estado da arte: 5 b) Problemas a resolver e modelo: 4 c) Protótipo, resultado e comparação com trabalhos relacionados: 4 d) Redação e formatação: 5