Francieli Zanon Boito Rodrigo Virote Kassick

Apresentação em tema: "Francieli Zanon Boito Rodrigo Virote Kassick"— Transcrição da apresentação:

1 Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos
Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009.

2 Roteiro Introdução Lustre File System Testes propostos Resultados
Conclusões

3 Clusters de computadores são uma realidade.
Introdução Clusters de computadores são uma realidade.

4 4 de 26 Introdução Aplicações científicas geram grandes quantidades de dados, que podem precisar ser acessados em todos os nós. Uma solução bastante empregada é utilizar um Sistema de Arquivos Distribuído (SAD).

5 5 de 26 Introdução Esses dados podem ser armazenados em arquivos próprios, ou em segmentos de um compartilhado. Um padrão comum em aplicações científicas é o acesso a dados exclusivos.

6 6 de 26 Introdução Dependendo das opções de projeto, o sistema será mais otimizado para uma abordagem do que pra outra. Para obter um bom desempenho, a forma com que as aplicações fazem I/O deve combinar com as otimizações oferecidas pelo sistema de arquivos.

7 O objetivo desse trabalho
Introdução O objetivo desse trabalho

8 8 de 26 Introdução Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos.

9 O que é o Lustre, e por que ele deve ser estudado?

10 10 de 26 Lustre F.S. O Lustre é um sistema padrão de mercado: 15 dos top-30 computadores o utilizam.

11 MDS OBD OST OBD Cliente OBD Cliente OST OBD Cliente Clientes;
Lustre F.S. Clientes; Servidor de metadados (MDS); MDS OBD Servidores de dados (OST); OST OBD Cliente OBD Cliente Dispositivos de armazenamento (OBD); OST OBD Cliente

12 Como simular os padrões de acesso a dados exclusivos?

13 Non-strided strided Single File, Segmented Access SFSA Single File,
Testes Single File, Segmented Access SFSA Single File, Segmented Access SFSA Multiple Files, Whole Access MFWA Non-strided strided

14 Os testes foram realizados com auxílio da ferramenta MPI-IO Test.
14 de 26 Os testes foram realizados com auxílio da ferramenta MPI-IO Test. Testes

15 Striping em blocos de 64KB, circular começando em servidor aleatório.
Testes Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. 4 servidores de dados; Striping em blocos de 64KB, circular começando em servidor aleatório. Acessos em blocos de 64KB e 64MB.

16 Cada cliente opera sobre 2GB.
16 de 26 Cada cliente opera sobre 2GB. Servidores de dados armazenam no sistema de arquivos local (ext3). Testes Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções);

17 17 de 26 Resultados obtidos

18 Acessos a áreas contíguas
Resultados

19 Resultados

20 MF vs SF non-strided Resultados

21 21 de 26 Conclusões

22 Conclusões Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco.

23 Melhor desempenho é obtido utilizando MFWA ou SFSA non-strided ?
Conclusões Melhor desempenho é obtido utilizando MFWA ou SFSA non-strided ?

24 Arquivo único ~13% melhor.
Conclusões Operações de leitura Blocos pequenos Blocos grandes Tanto faz. Poucos clientes (até 3x o número de OSTs) Vários clientes Tanto faz. Arquivo único ~13% melhor.

25 Arquivo único ~13% melhor. Múltiplos arquivos ~14% melhor.
Conclusões Operações de escrita Poucos clientes (até 3x o número de OSTs) Vários clientes Arquivo único ~13% melhor. Múltiplos arquivos ~14% melhor.

26 Obrigada pela atenção! Perguntas?

27 Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos
Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009.