Sistemas de Arquivos Paralelos Alternativas para a redução do gargalo no acesso ao sistema de arquivos Roberto Pires de Carvalho carvalho arroba ime ponto.

Apresentação em tema: "Sistemas de Arquivos Paralelos Alternativas para a redução do gargalo no acesso ao sistema de arquivos Roberto Pires de Carvalho carvalho arroba ime ponto."— Transcrição da apresentação:

1 Sistemas de Arquivos Paralelos Alternativas para a redução do gargalo no acesso ao sistema de arquivos Roberto Pires de Carvalho carvalho arroba ime ponto usp ponto br Departamento de Ciência da Computação Instituto de Matemática e Estatística Universidade de São Paulo

2 Agenda Motivação e objetivos Sistemas de arquivos distribuídos
Sistemas de arquivos paralelos PVFS2 vs. Ext3

3 Motivação Velocidades de acesso e transmissão de dados a partir de discos não evoluíram tanto quanto rede, processador e memória.

4 Motivação Os sistemas de arquivos distribuídos (SADs), embora sejam mais populares, sacrificam desempenho para disponibilizar qualidade de serviço, como por exemplo: Controle de acesso e segurança; Alta disponibilidade; Tolerância a falhas; Transparência no acesso.

5 Objetivos Diferenciar sistemas de arquivos paralelos e distribuídos;
Descrever em detalhes alguns sistemas de arquivos; Mostrar alguns testes de desempenho; Comparar o PVFS2 com o sistema de arquivos local.

6 Sistemas de Arquivos Distribuídos
Características: Espaço de nomes único para o usuário, mesmo que distribuído entre os servidores; Visão do sistema de arquivos como uma unidade; Preocupação com a qualidade do serviço oferecido.

7 Sistemas de Arquivos Distribuídos
Principais vantagens: Facilidade na manutenção e administração; Simplicidade no uso; Visão única entre os clientes. Principais desvantagens: Não são muito eficientes no acesso concorrente ou simultâneo; Nem sempre são escaláveis.

8 Sistemas de Arquivos Distribuídos
Alguns exemplos: NFS; AFS; CODA; SPRITE.

9 Sistemas de Arquivos Paralelos
Características: Alto desempenho no acesso aos dados de forma concorrente, seja no mesmo disco, no mesmo arquivo ou em uma parte dele; Pouca preocupação quanto à segurança dos dados, disponibilidade dos arquivos e tolerância a falhas dos discos e servidores; Acesso paralelo aos dados usa biblioteca específica com funções de alto desempenho; Uso praticamente acadêmico e em pesquisas onde alto desempenho é crítico.

10 Sistemas de Arquivos Paralelos
Principais vantagens: Melhor desempenho no acesso concorrente e simultâneo; Diminuição da latência; Aumento da vazão e da escalabilidade. Principais desvantagens: Aumento da vazão implica em aumento do uso da rede; Pouca preocupação quanto à segurança dos dados; Acesso às funções de alto desempenho diminuem transparência no acesso.

11 Sistemas de Arquivos Paralelos
Alguns exemplos: BRIDGE; PVFS; PVFS2; NFSP; CEFT-PVFS; GFS.

12 PVFS Características: Apresentado em 1996;
Desenvolvido para Linux, com código-fonte aberto; Alto desempenho em espaço de usuário no acesso concorrente e simultâneo aos arquivos; Acesso transparente para as ferramentas já existentes; Distribuição física dos dados entre os múltiplos nós. Pouca segurança nas permissões de acesso; Não possui tolerância a falhas.

13 PVFS Componentes: Servidor único de meta-dados;
Múltiplos servidores de dados; Modos de acesso: Via API nativa do PVFS (biblioteca); Via módulo para o núcleo do Linux, que acessa a biblioteca PVFS e proporciona acesso transparente para aplicações já existentes, a um baixo custo de desempenho.

14 PVFS Fluxo dos dados: 1. Cliente procura por informações
sobre o arquivo (meta-dados). 2. Sabendo-se onde encontrá-lo, pede o conteúdo do arquivo diretamente ao servidor de dados.

15 PVFS – Desempenho

16 PVFS2 Algumas diferenças com relação ao PVFS1:
Iniciado em 2003 e foi lançado em 2004; Arquitetura modular; Protocolo de rede modular (BMI); Métodos de armazenamento físico dos dados modular (Trove); Aceita outros algoritmos de distribuição de dados, e não somente round-robin; Permite múltiplos servidores de meta-dados; Pode-se configurar em quais nós armazenar algum arquivo; Suporte a redundância de dados.

17 NFSP Características: Apresentado em 2002;
Modificação nos servidores PVFS para dar suporte ao protocolo de comunicação do NFSv2 (RFC1094); Clientes NFS comuns podem acessá-lo de forma transparente; Distribuição dos dados entre servidores; Implementação inicial de redundância de dados; Distribuição da carga entre os servidores de dados ao se utilizar de redundância.

18 NFSP – Desempenho

19 CEFT-PVFS Características: Apresentado em 2003;
Modificação no PVFS para permitir dividir servidores em dois grupos: primário e secundário; Replicação dos dados; Tolerância a falhas; Distribuição de carga.

20 CEFT-PVFS – Desempenho

21 Nossa Proposta Mostrar que um SAP pode ser mais eficiente que um sistema de arquivos local, sob mesmas condições, ao acessar muitos dados, de forma concorrente e simultânea.

22 Nossa Estratégia

23 PVFS2 vs. Ext3 – Testes Ambiente: Rede conectada a 100MBits/s;
Máquinas com configuração homogênea: Athlon 1.2GHz, 768MB de RAM, 16GB de espaço livre em disco IDE Ultra ATA/133, 7200RPM; Kernel do Linux na versão

24 PVFS2 vs. Ext3 – Testes Leitura: Escrita:
Caches dos servidores e cliente limpos; Leitura de apenas um arquivo de tamanho específico por várias threads; Cada thread lê uma região distinta, de tamanho fixo, de forma seqüencial. Escrita: Cada thread gera um arquivo específico, de forma seqüencial, com dados aleatórios; Todos os arquivos têm o mesmo tamanho.

25 PVFS2 vs. Ext3 – Testes Variáveis: Tamanho do arquivo: de 1MB a 1GB;
Tamanho do bloco de dados: de 1KB a 1MB; Quantidade de threads usadas: de 1 a 32; Velocidade dos discos ajustada através da ferramenta hdparm para variar o modo PIO de 0 a 3; Escrita com e sem sincronização (flush).

26 Velocidades dos Discos por Modo PIO

27 Resultados – Leitura Tamanho do bloco de leitura não influencia o desempenho de ambos os sistemas. Ext3 PVFS2 com 8 nós

28 Resultados – Leitura Tamanho do arquivo não afeta desempenho do Ext3;
Porém afeta desempenho do PVFS2 para arquivos pequenos com mais de 1 thread. Ext3 PVFS2 com 8 nós

29 Resultados – Leitura Aumentar a quantidade de servidores PVFS2 nos dá:
Maior velocidade agregada de transferência de dados; Maior quantidade de memória cache; Maior espaço de armazenamento disponibilizado; Suporte a uma quantidade crescente de clientes; Desempenho do PVFS2 superior ao Ext3.

30 Resultados – Leitura Sem acesso concorrente, PVFS2 com 2 ou mais servidores é mais rápido que Ext3. 1 thread

31 Resultados – Leitura Ao aumentarmos a velocidade dos discos percebemos que: Desempenho do Ext3 está diretamente ligado ao disco; Desempenho do PVFS2 não aumenta proporcionalmente. 1 thread 32 threads

32 Resultados – Escrita Tamanho do bloco de escrita não influencia no resultado; Tamanho do arquivo afeta desempenho do Ext3; PVFS2 não é afetado pelo cache por não possuí-lo; Forçar escrita usando flush não mudou resultado. Ext3 PVFS2 com 8 nós

33 Resultados – Escrita Ao aumentarmos a quantidade de servidores e a concorrência, escrita no PVFS2 e no Ext3 se comporta como a leitura.

34 Resultados – Escrita Sem acesso concorrente, o PVFS2 com 2 ou mais servidores ganha do Ext3 também na escrita, para uma quantidade suficiente de dados.

35 Resultados – Escrita Ao aumentarmos a velocidade dos discos, temos um resultado similar aos testes de leitura. 1 thread 32 threads

36 PVFS2 vs. Ext3 – Conclusões
Para PVFS2, rede rápida é mais importante que discos rápidos Leitura com 32 threads

37 PVFS2 vs. Ext3 – Conclusões
PVFS2 não aproveita velocidade agregada de forma linear 1 thread 32 threads

38 PVFS2 vs. Ext3 – Conclusões
PVFS2 utiliza somente 92% da banda da rede (média 11,5MB/s) Se disco é 8% mais lento que a rede, PVFS2 e Ext3 “empatariam”. PVFS2 é mais rápido que Ext3 em rede Ethernet 1000Base-T? Se discos possuem velocidade média de 28MB/s: Similar aos testes com modo PIO 0; PVFS2 com 8 servidores; 32 threads clientes; Aproveitamento do PVFS2 seria de ~49%; Resultado: 28 x 8 x 49% = 109MB/s. Se discos possuem velocidade média de 68MB/s: Similar aos testes com modo PIO 3; Usando PVFS2 com 8 servidores; Aproveitamento do PVFS2 seria de ~20%; Resultado: 68 x 8 x 20% = 109MB/s.

39 Trabalhos Futuros Testes comparativos no acesso e manipulação de arquivos grandes entre PVFS2 e Ext3 em uma rede Gigabit; Analisar, discutir e explicar os resultados encontrados; Preparar um artigo com os resultados para o Simpósio Brasileiro de Redes de Computadores (SBRC) de 2006.

40 Obrigado a todos! Questões?