Estudo da Plataforma XtremWeb para Grade CMP157 Computação Paralela e Disribuída Prof. Cláudio Fernando Resin Geyer Aluno: Emerson André Fedechen Apresentação TF1

Estrutura da Apresentação 1. Sumário 2. Objetivos 3. Funcionamento 4. Instalação 5. Aplicação 6. Testes 7. Limitações 8. Conclusões

Sumário - XtremWeb XtremWeb trata-se de um modelo de computação Global, multi- usuário e multi-aplicação objetivando a execução de aplicações externas em recursos participantes, estendendo as soluções clássicas LSDS (Sistema Distribuído em Larga Escala). Sua pesquisa é liderada pelo Computer Science Laboratory, Paris XI University,da França. Visa a operabilidade totalmente descentralizada e adaptável, explorando recursos subutilizados e distribuídos. Busca criar um computador paralelo para usuários clássicos. Fornece adaptabilidade para aplicações distintas.

Sumário – XtremWeb Permite a execução de várias (milhares) aplicações heterogêneas simultâneamente; Provê segurança e transparência aos usuários (um trabalhador pode ser cliente). Fornece escalabilidade dinâmica; Executa mecanismos de tolerância a falhas. Processa aplicações paralelas e concorrentes; Proporciona um sistema adaptável (P2P, cliente-servidor) com vários servidores conectados.

Objetivos Observar o processo de instalação da ferramenta XtremWeb Tomar conhecimento de suas características e funcionalidades Adaptar uma aplicação paralela para geração de testes Executar o ambiente sob monitoramento de suas atividades e comportamento Identificar possíveis limitações da tecnologia Levantar dados para comparativos entre similares

Funcionamento O servidor conhece apenas nós ativos; Todo worker pode ser também cliente; O worker avisa quando está disponível. Server W W W W W Cl

Funcionamento Server W W Cl W W Server W W W O servidor pode conectar-se a outros servidores Vários clientes podem conectarem-se simultanemente.

Funcionamento 1. O client adiciona uma aplicação ao banco de dados no server. 2. Após, solicita o disparo da aplicação passando os parâmetros e os arquivos necessários para a correta execução. 3. O server fica responsável por escalonar as tarefas dos clientes e repassá-las aos workers. 4. O worker, quando disponível, solicita ao server uma aplicação. Este transfere os arquivos para o worker que irá efetivamente executar e retornar os resultados ao server. 5. Por fim, quando os resultados estão disponíveis o cliente pode recuperá-los para seu computador através de uma solicitação ao server.

Instalação Sistema composto por instaladores distintos: Servidor Banco de Dados (MySQL) Servidor Web (apache) Worker Client Todo o sistema foi desenvolvido em java. O sistema está em desenvolvimento (17 atualizações em 2006)

Instalação Multiplataforma: Linux, Mac-OS X, Windows (cygwin). Bugs constantemente reportados; acessado em 11/12/ Dificuldades encontradas: Kernel (sujestão série 2.6); Instaladores pouco adaptáveis (estrutura de diretórios e arquivos) Tratamento de exceções limitados (logs)

Aplicação N-Queens Aplicação desenvolvida em C++ Número de tarefas aproximadamente [(N x N x N) – (possibilidades nulas)]/2. Parâmetros = int, int que definem a faixa de tarefas que deverão ser computadas em um único nó. Hospedada no servidor e estendida aos clientes em tempo de execução.

Aplicação Chamada das tarefas em Java: Alocada no cliente, utiliza a sintaxe do XtremWeb.client e define os parâmetros passados ao servidor: Q.java = classe principal que recebe como parâmetros: int N, int tarefas, int passo. Fila.java = thread que atualiza o número de offset das tarefas e escalona com CallJobs.java CallJobs.java = thread que efetua as chamadas ao servidor XtremWeb: (xtremweb.client --xwsubmit queens --xwlabel nq"+num+" "+N+" "+offSet+" "+num;) e aguarda o envio com sucesso antes de requisitar outras ao Fila.java. Aviso.java = Objeto sincronizado entre as threads.

Aplicação Usabilidade: Exemplo: java Q = criar tarefas para N = 18, com 1186 tarefas, reunidas em grupos de 10. Equivale a 119 tarefas (1186/10). A chamada (xtremweb.client --xwsubmit queens --xwlabel nq"+num+" "+N+" "+offSet+" "+num;) queens = Aplicação em C++; N = número de rainhas; offset = offset do conjunto de jobs; num = ponteiro para o final da faixa; Offset e num apontam para as faixas que dividem o total das tarefas.

Testes N = jobs Ambiente de testes: um server e dois workers Pentium 4, 3.2 GHz um client Athlon XP 2.4 GHz. Execução sequencial Worker C1-0 = 5m46.572s JobsXWBoinc 1 – 13h12m35m 10 – 1015m12s3m30s 30 – 308m19s Random m

Testes N = jobs 1-1 Início: 12:57 Fim: 16:09

Testes N = jobs Início: 14:37 Final: 14:45

XWGUI Cliente

Xtremweb.client --xwstatus

Testes N = jobs Jobs de 1 a 1 Execução sequencial N = 19 Worker C1-0 = 42m22.444s JobsXWBoinc 1 -14h50m37m m22s16m m22s

Limitações Número de jobs paralelos aceitos pelo worker, limita-se ao número de CPUs para um bom funcionamento; Paralização de worker, sem motivo aparente; Subutilização dos workers Reenvio das aplicações O tempo de execução das tarefas é crescente com o passar do tempo A GUI do cliente não suporta um número elevado de tarefas

Conclusões 1 A ferramenta possui algumas limitações por se encontrar em fase de pesquisa e desenvolvimento, que podem ser reportadas e solucionadas gradativamente. Para a aplicação proposta, os testes mostraram um melhor desempenho com tarefas maiores, diminuindo o número de transmissões de mensagens. Com isto, observa-se que embora as mensagens sejam aparentemente pequenas, existe um custo que pode ser atribuído à forma de tratamento delas pela ferramenta. Uma nova política de escalonamento pode ser aplicada aos workers de modo a otimizar seu tempo disponível. O tratamento de eventos (logs) pode ser melhorado para agilidade dos programadores.

Conclusões 2 Trata-se de uma tecnologia que oferece um paradigma diferenciado entre os LSDS, e pode apresentar resultados atrativos tanto para a comunidade científica como para usuários comuns.

Bibliografia G. Fedak, C. Germain, V. Néri, F. Cappello: XtremWeb: A Generic Global Computing System. CCGrid2001 – Glogal Computing on Personal Devices F. Cappello, S. Djilali, G. Fedak, T. Herault, F. Magniette, V. Néri, O. Lodygensky: Computing on large scale distributed systems: experience of the XtremWeb project. FGCS – Future Generation Computer Science, O. Lodygensky: XtremWeb Users Guide. Acessado em