Estudo da Plataforma XtremWeb para Grade CMP157 Computação Paralela e Disribuída Prof. Cláudio Fernando Resin Geyer Aluno: Emerson André Fedechen Apresentação.

Apresentação em tema: "Estudo da Plataforma XtremWeb para Grade CMP157 Computação Paralela e Disribuída Prof. Cláudio Fernando Resin Geyer Aluno: Emerson André Fedechen Apresentação."— Transcrição da apresentação:

1 Estudo da Plataforma XtremWeb para Grade CMP157 Computação Paralela e Disribuída Prof. Cláudio Fernando Resin Geyer Aluno: Emerson André Fedechen Apresentação TF1

2 Estrutura da Apresentação 1. Sumário 2. Objetivos 3. Funcionamento 4. Instalação 5. Aplicação 6. Testes 7. Limitações 8. Conclusões

3 Sumário - XtremWeb XtremWeb trata-se de um modelo de computação Global, multi- usuário e multi-aplicação objetivando a execução de aplicações externas em recursos participantes, estendendo as soluções clássicas LSDS (Sistema Distribuído em Larga Escala). Sua pesquisa é liderada pelo Computer Science Laboratory, Paris XI University,da França. Visa a operabilidade totalmente descentralizada e adaptável, explorando recursos subutilizados e distribuídos. Busca criar um computador paralelo para usuários clássicos. Fornece adaptabilidade para aplicações distintas.

4 Sumário – XtremWeb Permite a execução de várias (milhares) aplicações heterogêneas simultâneamente; Provê segurança e transparência aos usuários (um trabalhador pode ser cliente). Fornece escalabilidade dinâmica; Executa mecanismos de tolerância a falhas. Processa aplicações paralelas e concorrentes; Proporciona um sistema adaptável (P2P, cliente-servidor) com vários servidores conectados.

5 Objetivos Observar o processo de instalação da ferramenta XtremWeb Tomar conhecimento de suas características e funcionalidades Adaptar uma aplicação paralela para geração de testes Executar o ambiente sob monitoramento de suas atividades e comportamento Identificar possíveis limitações da tecnologia Levantar dados para comparativos entre similares

6 Funcionamento O servidor conhece apenas nós ativos; Todo worker pode ser também cliente; O worker avisa quando está disponível. Server W W W W W Cl

7 Funcionamento Server W W Cl W W Server W W W O servidor pode conectar-se a outros servidores Vários clientes podem conectarem-se simultanemente.

8 Funcionamento 1. O client adiciona uma aplicação ao banco de dados no server. 2. Após, solicita o disparo da aplicação passando os parâmetros e os arquivos necessários para a correta execução. 3. O server fica responsável por escalonar as tarefas dos clientes e repassá-las aos workers. 4. O worker, quando disponível, solicita ao server uma aplicação. Este transfere os arquivos para o worker que irá efetivamente executar e retornar os resultados ao server. 5. Por fim, quando os resultados estão disponíveis o cliente pode recuperá-los para seu computador através de uma solicitação ao server.

9 Instalação Sistema composto por instaladores distintos: Servidor Banco de Dados (MySQL) Servidor Web (apache) Worker Client Todo o sistema foi desenvolvido em java. O sistema está em desenvolvimento (17 atualizações em 2006)

10 Instalação Multiplataforma: Linux, Mac-OS X, Windows (cygwin). Bugs constantemente reportados; http://www.lri.fr/~fedak/XtremWeb/index.php?section=section4&subsection=bugreport acessado em 11/12/2006. http://www.lri.fr/~fedak/XtremWeb/index.php?section=section4&subsection=bugreport Dificuldades encontradas: Kernel (sujestão série 2.6); Instaladores pouco adaptáveis (estrutura de diretórios e arquivos) Tratamento de exceções limitados (logs)

11 Aplicação N-Queens Aplicação desenvolvida em C++ Número de tarefas aproximadamente [(N x N x N) – (possibilidades nulas)]/2. Parâmetros = int, int que definem a faixa de tarefas que deverão ser computadas em um único nó. Hospedada no servidor e estendida aos clientes em tempo de execução.

12 Aplicação Chamada das tarefas em Java: Alocada no cliente, utiliza a sintaxe do XtremWeb.client e define os parâmetros passados ao servidor: Q.java = classe principal que recebe como parâmetros: int N, int tarefas, int passo. Fila.java = thread que atualiza o número de offset das tarefas e escalona com CallJobs.java CallJobs.java = thread que efetua as chamadas ao servidor XtremWeb: (xtremweb.client --xwsubmit queens --xwlabel nq"+num+" "+N+" "+offSet+" "+num;) e aguarda o envio com sucesso antes de requisitar outras ao Fila.java. Aviso.java = Objeto sincronizado entre as threads.

13 Aplicação Usabilidade: Exemplo: java Q 18 1186 10 = criar tarefas para N = 18, com 1186 tarefas, reunidas em grupos de 10. Equivale a 119 tarefas (1186/10). A chamada (xtremweb.client --xwsubmit queens --xwlabel nq"+num+" "+N+" "+offSet+" "+num;) queens = Aplicação em C++; N = número de rainhas; offset = offset do conjunto de jobs; num = ponteiro para o final da faixa; Offset e num apontam para as faixas que dividem o total das tarefas.

14 Testes N = 18 1186 jobs Ambiente de testes: um server e dois workers Pentium 4, 3.2 GHz um client Athlon XP 2.4 GHz. Execução sequencial Worker C1-0 = 5m46.572s JobsXWBoinc 1 – 13h12m35m 10 – 1015m12s3m30s 30 – 308m19s Random 1 - 30 11m

15 Testes N = 18 1186 jobs 1-1 Início: 12:57 Fim: 16:09

16 Testes N = 18 1186 jobs 30-30 Início: 14:37 Final: 14:45

17 XWGUI Cliente

18 Xtremweb.client --xwstatus

19 Testes N = 19 1386 jobs Jobs de 1 a 1 Execução sequencial N = 19 Worker C1-0 = 42m22.444s JobsXWBoinc 1 -14h50m37m 10 -1031m22s16m 30 -3026m22s

20 Limitações Número de jobs paralelos aceitos pelo worker, limita-se ao número de CPUs para um bom funcionamento; Paralização de worker, sem motivo aparente; Subutilização dos workers Reenvio das aplicações O tempo de execução das tarefas é crescente com o passar do tempo A GUI do cliente não suporta um número elevado de tarefas

21 Conclusões 1 A ferramenta possui algumas limitações por se encontrar em fase de pesquisa e desenvolvimento, que podem ser reportadas e solucionadas gradativamente. Para a aplicação proposta, os testes mostraram um melhor desempenho com tarefas maiores, diminuindo o número de transmissões de mensagens. Com isto, observa-se que embora as mensagens sejam aparentemente pequenas, existe um custo que pode ser atribuído à forma de tratamento delas pela ferramenta. Uma nova política de escalonamento pode ser aplicada aos workers de modo a otimizar seu tempo disponível. O tratamento de eventos (logs) pode ser melhorado para agilidade dos programadores.

22 Conclusões 2 Trata-se de uma tecnologia que oferece um paradigma diferenciado entre os LSDS, e pode apresentar resultados atrativos tanto para a comunidade científica como para usuários comuns.

23 Bibliografia G. Fedak, C. Germain, V. Néri, F. Cappello: XtremWeb: A Generic Global Computing System. CCGrid2001 – Glogal Computing on Personal Devices. 2001. F. Cappello, S. Djilali, G. Fedak, T. Herault, F. Magniette, V. Néri, O. Lodygensky: Computing on large scale distributed systems: experience of the XtremWeb project. FGCS – Future Generation Computer Science, 2004. O. Lodygensky: XtremWeb Users Guide. http://www.lri.fr/~fedak/XtremWeb/doc/xtremweb.html. Acessado em 06.12.2006. http://www.lri.fr/~fedak/XtremWeb/doc/xtremweb.html