Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos
Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009.
2
Roteiro Introdução Lustre File System Testes propostos Resultados
Conclusões
3
Clusters de computadores são uma realidade.
Introdução Clusters de computadores são uma realidade.
4
4 de 26 Introdução Aplicações científicas geram grandes quantidades de dados, que podem precisar ser acessados em todos os nós. Uma solução bastante empregada é utilizar um Sistema de Arquivos Distribuído (SAD).
5
5 de 26 Introdução Esses dados podem ser armazenados em arquivos próprios, ou em segmentos de um compartilhado. Um padrão comum em aplicações científicas é o acesso a dados exclusivos.
6
6 de 26 Introdução Dependendo das opções de projeto, o sistema será mais otimizado para uma abordagem do que pra outra. Para obter um bom desempenho, a forma com que as aplicações fazem I/O deve combinar com as otimizações oferecidas pelo sistema de arquivos.
7
O objetivo desse trabalho
Introdução O objetivo desse trabalho
8
8 de 26 Introdução Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos.
9
O que é o Lustre, e por que ele deve ser estudado?
10
10 de 26 Lustre F.S. O Lustre é um sistema padrão de mercado: 15 dos top-30 computadores o utilizam.
11
MDS OBD OST OBD Cliente OBD Cliente OST OBD Cliente Clientes;
Lustre F.S. Clientes; Servidor de metadados (MDS); MDS OBD Servidores de dados (OST); OST OBD Cliente OBD Cliente Dispositivos de armazenamento (OBD); OST OBD Cliente
12
Como simular os padrões de acesso a dados exclusivos?
13
Non-strided strided Single File, Segmented Access SFSA Single File,
Testes Single File, Segmented Access SFSA Single File, Segmented Access SFSA Multiple Files, Whole Access MFWA Non-strided strided
14
Os testes foram realizados com auxílio da ferramenta MPI-IO Test.
14 de 26 Os testes foram realizados com auxílio da ferramenta MPI-IO Test. Testes
15
Striping em blocos de 64KB, circular começando em servidor aleatório.
Testes Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. 4 servidores de dados; Striping em blocos de 64KB, circular começando em servidor aleatório. Acessos em blocos de 64KB e 64MB.
16
Cada cliente opera sobre 2GB.
16 de 26 Cada cliente opera sobre 2GB. Servidores de dados armazenam no sistema de arquivos local (ext3). Testes Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções);
17
17 de 26 Resultados obtidos
18
Acessos a áreas contíguas
Resultados
19
Resultados
20
MF vs SF non-strided Resultados
21
21 de 26 Conclusões
22
Conclusões Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco.
23
Melhor desempenho é obtido utilizando MFWA ou SFSA non-strided ?
Conclusões Melhor desempenho é obtido utilizando MFWA ou SFSA non-strided ?
24
Arquivo único ~13% melhor.
Conclusões Operações de leitura Blocos pequenos Blocos grandes Tanto faz. Poucos clientes (até 3x o número de OSTs) Vários clientes Tanto faz. Arquivo único ~13% melhor.
25
Arquivo único ~13% melhor. Múltiplos arquivos ~14% melhor.
Conclusões Operações de escrita Poucos clientes (até 3x o número de OSTs) Vários clientes Arquivo único ~13% melhor. Múltiplos arquivos ~14% melhor.
26
Obrigada pela atenção! Perguntas?
27
Analisando o comportamento do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos
Francieli Zanon Boito Rodrigo Virote Kassick Prof. Dr. Philippe O. A. Navaux XXI Salão de Iniciação Científica – UFRGS Porto Alegre, 22 de outubro de 2009.
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.