A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

YADFS Yet Another Distributed File System Marcus Vinícius Neves Silva Calebe de Paula Bianchini Universidade Presbiteriana Mackenzie Faculdade de Computação.

Apresentações semelhantes


Apresentação em tema: "YADFS Yet Another Distributed File System Marcus Vinícius Neves Silva Calebe de Paula Bianchini Universidade Presbiteriana Mackenzie Faculdade de Computação."— Transcrição da apresentação:

1 YADFS Yet Another Distributed File System Marcus Vinícius Neves Silva Calebe de Paula Bianchini Universidade Presbiteriana Mackenzie Faculdade de Computação e Informática

2 Introdução YADFS: sistema de arquivos distribuído Propósitos Alto desempenho Alta disponibilidade Baseado nas tecnologias FUSE RAID

3 Sistemas de Arquivos Originalmente desenvolvidos para desktops e sistemas de computadores centralizados São subsistemas dos sistemas operacionais Seu propósito é prover uma interface de programação conveniente para dispositivos de armazenamento em disco Através desta interface os programas de usuário acessam os arquivos armazenados nestes dispositivos

4 Sistemas de Arquivos Distribuídos Assim como um FS (File System), um DFS (Distributed File System) também é implementado como parte do sistema operacional Seu propósito é permitir o compartilhamento de arquivos através da rede utilizando um FS comum entre as máquinas É desejável que um DFS possa ser utilizado de forma minimamente similar a um sistema de arquivos local

5 RAID RAID é uma tecnologia implementada em hardware ou software proposta nos anos 80 Objetivo: aumentar o desempenho e a disponibilidade de dispositivos de armazenamento em disco

6 RAID São utilizadas duas técnicas básicas, ambas utilizando múltiplos discos: Paralelismo Redundância Estas técnicas podem ser utilizadas individualmente ou combinadas, obtendo-se o melhor de ambas

7 RAID - Paralelismo Aumento de desempenho através de data striping (em nível de bit ou de bloco) Distribui dados entre múltiplos discos para que pareçam um único, rápido e grande disco Melhora o desempenho agregado de E/S permitindo que múltiplas E/Ss sejam servidas em paralelo

8 RAID - Paralelismo Quanto mais discos no array: Melhor o desempenho, mas... Maior probabilidade de ocorrência de falhas Array com 100 discos = 1/100 da confiabilidade de um disco individual Como resolver?

9 RAID - Redundância Necessário adotar a redundância A maior parte dos arrays utiliza uma das seguintes técnicas para cálculo da informação redundante: Paridade Códigos de Hamming Códigos de Reed-Solomon

10 RAID – Níveis Os níveis de RAID variam de 0 a 6 (7 no total) RAID nível 0: Striping em nível de bloco Não aplica redundância RAID nível 1: Striping em nível de bloco Sempre que um dado é escrito em um disco, o mesmo dado também é escrito em um disco redundante

11 FUSE – Filesystem in Userspace Módulo de kernel para sistemas operacionais Unix-like Permite o desenvolvimento rápido de sistemas de arquivos em user space Chamadas realizadas pela C Standard Library (fopen, fread, etc) são delegadas para o sistema de arquivos

12 FUSE – Filesystem in Userspace

13 YADFS Yet Another Distributed File System DFS de código aberto Escrito em C++ Para Sistemas Operacionais Unix-like

14 YADFS - Building Blocks FUSE Utiliza conceitos de RAID para: Aumento de desempenho Aumento de disponibilidade Tolerância a falhas

15 YADFS - Arquitetura

16 YADFS - Aplicação de RAID Conceitualmente, ocorre da mesma forma que em um array de discos convencional, porém... Em nível de software: os discos são lógicos e estão distribuídos através de servidores na rede Versão 0.1: RAID nível 0 RAID nível 1

17 YADFS - Aplicação de RAID RAID 0 e 1 == striping em nível de bloco Em uma operação de leitura ou escrita, os chunks (blocos) de tamanho striping unit (4K atualmente) são lidos e escritos nos Data Nodes

18 YADFS – Exemplo de Funcionamento

19 Resultados - Benchmarks Escrita, intervalo de 128 MB a 1024 MB Leitura, intervalo de 128 MB a 1024 MB

20 Resultados - Benchmarks Escrita, intervalo de 128 MB a 1024 MB Leitura, intervalo de 128 MB a 1024 MB

21 Considerações Finais É possível inferir que o desempenho aumenta conforme a quantidade de Data Nodes cresce Tolerância a falhas através da utilização de RAID 1 Melhorias no protocolo devem aumentar o desempenho do YADFS

22 Questões?

23 Referências Bibliográficas CHEN, Peter M. et al. RAID: high-performance, reliable secondary storage. ACM Computing Surveys, New York, v. 26, n. 2, p , jun COULOURIS, George; DOLLIMORE, Jean; KINDBERG, Tim. Distributed systems: concepts and design. 4. ed. Essex, Inglaterra: Addison-Wesley, LEVY, Eliezer; SILBERSCHATZ, Abraham. Distributed File Systems: Concepts and Examples. ACM Computing Surveys, New York, v. 22, n. 4, p , dez


Carregar ppt "YADFS Yet Another Distributed File System Marcus Vinícius Neves Silva Calebe de Paula Bianchini Universidade Presbiteriana Mackenzie Faculdade de Computação."

Apresentações semelhantes


Anúncios Google