A High Performance Java Middleware with a Real Application HUERT, Fabrice; CAROMEL, Denis; Bal, Henri E. Supercomputing 2004 Trabalho desenvolvido por:

Apresentação em tema: "A High Performance Java Middleware with a Real Application HUERT, Fabrice; CAROMEL, Denis; Bal, Henri E. Supercomputing 2004 Trabalho desenvolvido por:"— Transcrição da apresentação:

1 A High Performance Java Middleware with a Real Application HUERT, Fabrice; CAROMEL, Denis; Bal, Henri E. Supercomputing 2004 Trabalho desenvolvido por: Cristiano Costa e Alan Assis

2 2 Programação Com Objetos Distribuídos 2005 Tema Uso de Java para aplicação de Alto desempenho Uso dos middlewares ProActive e Ibis RMI Desenvolvimento de aplicação eletromagnética 3D Comparação com RMI da Sun, Fortran MPI e experimentos em 5 diferentes cluster

3 3 Programação Com Objetos Distribuídos 2005 Motivação Experimentos anteriores com Java para alto desempenho foram decepcionantes Questões de desempenho relacionadas com RMI e várias soluções propostas Uso de ambiente ProActive que permitem programação em alto nível Resolver equações de Maxwell 3D para aplicações eletromagnéticas

4 4 Programação Com Objetos Distribuídos 2005 Estado da Arte Implementação de RMI  Problemas do RMI da SUN Protocolo do RMI: re-envio de tipos a cada chamada remota Serialização: uso de reflexão (overhead em tempo de execução)  IBIS: permite comunicação eficiente em Java Pode usar TCP/IP ou UDP/IP providos pela JVM Pode usar protocolos de baixo nível (GM) Pode usar um código-fonte compatível com RMI da SUN, Group Message Invocation (GMI) e Satin dentre outros Resolve os problemas de RMI usando um proxy para os tipos e movendo boa parte do custo de serialização para tempo de compilação  Outras Soluções: KaRMI

5 5 Programação Com Objetos Distribuídos 2005 Estado da Arte (Cont.) Ambiente de Alto Nível para GRID em Java  Biblioteca ProActive Middleware para programação paralela, distribuída e concorrente Fornece serviços como migração, comunicação em grupo, segurança, deployment e componentes. Pode usar três camadas diferentes de comunicação: RMI, Jini e XML Pode usar serviços fornecidos pelo Globus ou outros Grids  Alguns portes de MPI para Java foram propostos  Propostas de implementação de Espaços de Tuplas em Java

6 6 Programação Com Objetos Distribuídos 2005 Problema a resolver Aplicação 3D computacional de eletromagnetismo  Foi utilizada a ferramenta de simulação Jem3D  Jem3D resolve as equações 3D Maxwell, usadas para cálculo de fluxo eletromagnético  Foi utilizada uma equação de Maxwell para a qual a solução existe e possui um solução exata

7 7 Programação Com Objetos Distribuídos 2005 Modelo

8 8 Programação Com Objetos Distribuídos 2005 Modelo (Cont.) ProActive  Aplicação é composta de entidades chamadas Active Objects  Cada objeto ativo tem sua própria thread de controle e decide em que ordem atender as chamadas de métodos recebidas  As chamadas de métodos são assíncronas

9 9 Programação Com Objetos Distribuídos 2005 Modelo (Cont.) ProActive  Elementos podem ser inseridos dinamicamente em um grupo, mas somente se for da mesma classe ou estender a classe especificada no momento da criação do grupo  O manipulador de deployment abstrai do código fonte configurações de hardware e software: VirtualNode: jem3Dnode Mapping: jem3Dnode --> VM1, VM2 Infrastructure: VM1 --> Local Virtual Machine VM2 --> SSH dark_vader

10 10 Programação Com Objetos Distribuídos 2005 Modelo (Cont.) IBIS  Ambiente de programação GRID baseado em java  Resolve o problema do RMI usando: serialização em tempo de compilação classe generator cria objetos mais rápido que o construtor do Java  O Ibis Portability Layer (IPL) possibilita ao desenvolvedor escolher entre várias interfaces padronizadas

11 11 Programação Com Objetos Distribuídos 2005 Protótipo Software  Jem3D -> ProActive -> Ibis -> TCP/IP Hardware  Distributed ASCI Supercomputer 2 (DAS-2)  Cada nodo é composto de um Dual Pentium III com frequência de 1GHz e 1GB de RAM. Experimentos  Executar 100 laços de cálculo da equação de Maxwell usando cubos com malhas de vários tamanhos. Serão testados diferentes quantidades de nodos.  Comparação com Fortran/MPI

12 12 Programação Com Objetos Distribuídos 2005 Resultados Uso de Memória em 1 nodo Speed-up do ProActive/RMI e ProActive/IBIS em um único cluster DAS-2

13 13 Programação Com Objetos Distribuídos 2005 Resultados (Cont.) ProActive/RMI vs ProActive/Ibis

14 14 Programação Com Objetos Distribuídos 2005 Resultados (Cont.) Java vs Fortran em 1 nodo Java vs Fortran em vários nodos

15 15 Programação Com Objetos Distribuídos 2005 Resultados (Cont.) Benchmarks com todos os nodos disponíveis no Grid DAS-2

16 16 Programação Com Objetos Distribuídos 2005 Conclusão A utilização de ProAtice e Ibis resultou em uma plataforma com alto nível de abstração e um ambiente de programação altamente flexível e eficiente A implementação RMI da Sun limita a velocidade e escalabilidade, mesmo para estrutura de dados simples como listas encadeadas O uso do deployment permite criação de clusters complexos e com configuração muito dinâmica A aplicação eletromagnética 3D em 150 nodos alcançou um speedup de ~100

17 17 Programação Com Objetos Distribuídos 2005 Avaliação do Artigo Qualidade científica: 4 Qualidade técnica: 5 Redação: 5 Formato: 4 Nota Geral: 4.5