A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009.

Apresentações semelhantes


Apresentação em tema: "Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009."— Transcrição da apresentação:

1 Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos

2 2 de 26 Roteiro Introdução Lustre File System Testes propostos Resultados Conclusões

3 Clusters de computadores são uma realidade. 3 de 26 Introdução

4 Aplicações científicas geram grandes quantidades de dados, que podem precisar ser acessados em todos os nós. 4 de 26 Uma solução bastante empregada é utilizar um Sistema de Arquivos Distribuído (SAD). Introdução

5 Um padrão comum em aplicações científicas é o acesso a dados exclusivos. Esses dados podem ser armazenados em arquivos próprios, ou em segmentos de um compartilhado. Introdução 5 de 26

6 Dependendo das opções de projeto, o sistema será mais otimizado para uma abordagem do que pra outra. Para obter um bom desempenho, a forma com que as aplicações fazem I/O deve combinar com as otimizações oferecidas pelo sistema de arquivos. Introdução 6 de 26

7 7 de 26 O objetivo desse trabalho Introdução

8 8 de 26 Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos. Introdução

9 O que é o Lustre, e por que ele deve ser estudado? 9 de 26

10 10 de 26 O Lustre é um sistema padrão de mercado: 15 dos top-30 computadores o utilizam. 10 de 26 Lustre F.S.

11 11 de 26 Cliente MDS OST OBD - Clientes; - Servidor de metadados (MDS); - Servidores de dados (OST); - Dispositivos de armazenamento (OBD); Lustre F.S.

12 Como simular os padrões de acesso a dados exclusivos? 12 de 26

13 13 de 26 Multiple Files, Whole Access MFWA Single File, Segmented Access SFSA Single File, Segmented Access SFSA Non-stridedstrided Testes

14 Os testes foram realizados com auxílio da ferramenta MPI-IO Test. 14 de 26 Testes

15 15 de 26 - Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. - 4 servidores de dados; - Striping em blocos de 64KB, circular começando em servidor aleatório. Testes - Acessos em blocos de 64KB e 64MB.

16 16 de 26 - Cada cliente opera sobre 2GB. - Servidores de dados armazenam no sistema de arquivos local (ext3). - Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções); Testes

17 Resultados obtidos 17 de 26

18 18 de 26 Resultados Acessos a áreas contíguas

19 19 de 26 Resultados

20 20 de 26 Resultados MF vs SF non-strided

21 Conclusões 21 de 26

22 22 de 26 - Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco. Conclusões

23 23 de 26 Melhor desempenho é obtido utilizando MFWA ou SFSA non-strided ? Conclusões

24 24 de 26 Operações de leitura Conclusões Blocos pequenos Tanto faz. Poucos clientes (até 3x o número de OSTs) Blocos grandes Arquivo único ~13% melhor. Vários clientes Tanto faz.

25 25 de 26 Operações de escrita Conclusões Poucos clientes (até 3x o número de OSTs) Arquivo único ~13% melhor. Vários clientes Múltiplos arquivos ~14% melhor.

26 Obrigada pela atenção! Perguntas?

27 Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos


Carregar ppt "Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009."

Apresentações semelhantes


Anúncios Google