A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Sistemas NoSQL Prof. Carlos Eduardo Santos Pires

Apresentações semelhantes


Apresentação em tema: "Sistemas NoSQL Prof. Carlos Eduardo Santos Pires"— Transcrição da apresentação:

1 Sistemas NoSQL Prof. Carlos Eduardo Santos Pires

2 Agenda Motivação Sistemas NoSQL o Definição o Características o Modelos de Armazenamento de Dados o Modelos de Dados o Controle de Concorrência Conclusões Sistemas NoSQL2

3 Bancos de Dados Relacionais Dados são estruturados de acordo com o modelo relacional Padrão para a grande maioria dos SGBDs o SQL Server, Oracle, PostgreSQL, MySQL, DB2, etc. Elementos básicos o Relações (ou tabelas) e registros (ou tuplas) Características fundamentais o Restrições de integridade (PK, FK, UK, CK, NN) o Normalização o Linguagem SQL (Structured Query Language) Sistemas NoSQL3

4 Bancos de Dados Relacionais A estrutura é pouco flexível o Tudo bem, usemos SGBDOO e SGBDOR Porém... o O volume de dados manipulados por alguns sistemas computacionais vem crescendo em ritmo acelerado (web 2.0) o Google: petabytes o Milhares de usuários acessando dados simultaneamente Demanda por escalabilidade é cada vez maior Sistemas NoSQL4

5 Como escalonar BDs Relacionais? Alternativa 1: Escalonamento vertical o Muitos cores e/ou CPUs que compartilham memória RAM e discos Oracle RAC (Real Application Cluster) Sistemas NoSQL5

6 Como escalonar BDs Relacionais? Alternativa 1: Escalonamento vertical o Custo 1 milhão de dólares o Mesmo assim, é insuficiente se o número de dados cresce em ritmo muito intenso o O problema passa a se concentrar no acesso à base de dados Sistemas NoSQL6

7 Como escalonar BDs Relacionais? Alternativa 2: Escalonamento horizontal o Aumentar o número de servidores Distribuir o processamento de dados em muitos servidores, sem que haja compartilhamento de memória RAM ou disco entre estes servidores Para escalar um BDR através de múltiplas máquinas não podemos simplesmente ligar mais uma máquina rodando o banco e esperar que tudo funcione Precisamos de uma série de configurações e alterações nas nossas aplicações para fazer tudo funcionar na nova arquitetura distribuída Sistemas NoSQL7

8 Modelo de Dados Mas, além de escalabilidade, existe a questão do modelo de dados O modelo de dados relacional satisfaz de forma eficiente as necessidades de todos os tipos de aplicação? Normalização o Fragmenta os dados Sistemas NoSQL8 Joins? More joins?

9 Sistemas NoSQL Abreviação de Not only SQL (não apenas SQL) Dezenas disponíveis na Web Open-source ou não Projetados por diversos tipos de desenvolvedores Implementações NoSQL o Ainda estão definindo um padrão próprio o Cada projeto foi concebido para resolver um problema particular Sistemas NoSQL9

10 Projetados para escalonar aplicações simples utilizando vários servidores Objetivo não é substituir o Modelo Relacional, mas apenas em casos nos quais seja necessária uma maior flexibilidade da estruturação do BD Sistemas NoSQL10

11 Sistemas NoSQL NoSQL é um termo genérico para uma classe definida de banco de dados não-relacionais que rompe uma longa história de banco de dados relacionais e suas propriedades ACID Império do Modelo Relacional o IV Reich – o Reich dos 43 anos o Poucas variações ao longo do tempo Sistemas NoSQL11 Edgar F. Codd *August 23, April 18, 2003 Codd, E.F. (1970). "A Relational Model of Data for Large Shared Data Banks". Communications of the ACM 13 (6): 377–387. doi: /

12 Sistemas NoSQL Paradigma recente (de 2008 para cá) Motivados pelas aplicações da Web 2.0 o Twitter, WIKI, Facebook, Blogs, etc. Aplicações que envolvem milhares ou milhões de usuários conectados simultaneamente realizando operações simples de leitura e escrita O que é uma operação simples? o Busca, leitura e escrita em um único registro ou em um conjunto pequeno de registros Sistemas NoSQL12

13 Características dos Sistemas NoSQL Habilidade de escalonar horizontalmente operações simples com vários servidores Habilidade de replicar e distribuir (particionar) dados em vários servidores Interface de chamada simples Modelo de controle de concorrência menos rígido que o ACID Livres de esquema: habilidade de atribuir dinamicamente novos atributos aos registros de dados Sistemas NoSQL13

14 Características dos Sistemas NoSQL Sistemas NoSQL possuem várias características em comum o Livres de esquema o Alta disponibilidade o Escalabilidade Mesmo assim, possuem diversas características únicas quanto ao o Modo de armazenamento dos dados o Modelo de dados Sistemas NoSQL14

15 Modo de Armazenamento de Dados Temos os sistemas que... o mantêm suas informações em memória realizando persistências ocasionais Scalaris, Redis o mantêm suas informações em disco CouchDB, MongoDB, Riak, Voldemort o são configuráveis BigTable, Cassandra, Hbase, HyperTable Sistemas NoSQL15

16 Modelo de Dados Existem quatro categorias: o Sistemas baseados em armazenamento chave-valor o Sistemas orientados a documentos o Sistemas orientados à coluna o Sistemas baseados em grafos Sistemas NoSQL16

17 Baseados em Armazenamento Chave-Valor Existe uma coleção de chaves únicas e de valores, os quais são associados às chaves Um índice único é utilizado para encontrar os valores Sistemas NoSQL17

18 Baseados em Armazenamento Chave-Valor Modelo simples, restrito (buscas) e escalonável Fornecem mecanismos de persistência, replicação, versionamento, bloqueios, transações, etc. A interface oferece operações de inserção, remoção e index lookups Exemplos de Sistemas NoSQL o Riak, Redis, Scalaris Sistemas NoSQL18

19 Baseados em Armazenamento Chave-Valor Chave à esquerda e um valor (objeto) à direita Chave pode ser um string, inteiro, etc. Como não existe repetição de chave, é possível consultar apenas pela chave o user1923_color Red o user1923_age 18 o user3371_color Blue o user4344_color Brackish o user1923_height 6' 0 o user3371_age 34 Sistemas NoSQL19

20 Orientados a Documentos Documentos são as unidades básicas de armazenamento e estes não utilizam necessariamente qualquer tipo de estrutura pré- definida (esquema) Os documentos são indexados e um mecanismo simples de consulta é oferecido Sistemas NoSQL20

21 Orientados a Documentos Documento do CouchDB o Objeto com um identificador único e certos campos o Possui cinco campos e seus respectivos valores O sistema NoSQL que se vire para indexar Exemplos o MongoDB e CouchDB Sistemas NoSQL21

22 Orientados à Coluna Muda-se o paradigma de orientação a registros para orientação a colunas BD orientado a registro o 1, Smith, Joe, 40000; o 2, Jones, Mary, 50000; o 3, Johnson, Cathy, 44000; BD orientado a coluna o 1, 2, 3; o Smith, Jones, Johnson; Joe, Mary, Cathy; o 40000, 50000, 44000; Sistemas NoSQL22

23 Orientados à Coluna Para sistemas que possuem carga de trabalho com um pequeno número de consultas complexas sobre todos os dados de colunas o Similar ao processamento OLAP o SUM(valor), AVG(quantidade), MAX(total) Exemplo o Cassandra e BigTable Sistemas NoSQL23

24 Baseados em Grafos Já tentou modelar/consultar uma hierarquia em bancos de dados relacionais? SGDB Oracle o START WITH o CONNECT BY Sistemas NoSQL24 SELECT lpad(' ', 2*level) || child FROM prune_test START WITH parent IS NULL CONNECT BY PRIOR child=parent;

25 Baseados em Grafos Dados são armazenados em nós de um grafo cujas arestas representam o tipo de associação entre esses nós Sistemas NoSQL25

26 Baseados em Grafos Nós representam entidades como pessoas, grupos, itens, etc. Os objetos possuem propriedades Arestas o Conectam nós distintos entre si ou nós a propriedades o Representam o relacionamento entre os mesmos Exemplo o Neo4j Sistemas NoSQL26

27 Modelos de Dados NoSQL Sistemas NoSQL27 Complexidade dos dados Volume de dados chave-valor colunas documentos grafo

28 Controle de Concorrência Bancos de Dados Relacionais o Uso de bloqueios (locks) para garantir que dois usuários não atualizem o mesmo item de dados no mesmo instante Bancos de Dados NoSQL o Estratégias usadas permitem um maior grau de concorrência Sistemas NoSQL28

29 Controle de Concorrência BDR o ACID = A tomicity, C onsistency, I solation, and D urability NoSQL o BASE = B asically A vailable, S oft state, E ventually consistent Desempenho e escalabilidade são conseguidos relaxando-se algumas propriedades Sistemas NoSQL29

30 Controle de Concorrência Consistência Eventual o Eventual em português Pode acontecer ou não o Eventual em inglês Vai acontecer em algum momento Pode não ser agora, mas vai acontecer o Exemplo Transferência bancária no sistema financeiro brasileiro o Portanto, no mundo NoSQL a tradução melhor seria Consistência em momento indeterminado Sistemas NoSQL30

31 Controle de Concorrência Consistência Eventual o Se nenhuma nova atualização for realizada sobre o objeto, eventualmente todos os acessos à esse objeto retornarão o último valor atualizado o Quando uma escrita for realizada no banco, não se pode garantir que, a partir daquele momento, todos os outros processos terão acesso apenas ao dado atualizado o Não há garantia que os dados lidos estão sempre atualizados o Atualizações são eventualmente propagadas em todos os nós Sistemas NoSQL31

32 Controle de Concorrência Modelo ACID o Força a consistência ao final de cada operação Modelo BASE o Permite que o BD esteja eventualmente em um estado consistente Sistemas NoSQL32

33 Controle de Concorrência Exemplo: Shopping Cart da Amazon o É possível comprar um produto que não esteja em estoque o É muito raro não ter o produto em estoque o É muito custoso verificar se há estoque do produto o Então é melhor vender sem verificar o Se não tiver em estoque, manda mensagem com desculpas ou dá um desconto em um produto Sistemas NoSQL33

34 NewSQL SQL Padrões Durabilidade Segurança Gatilhos Chave estrangeira Chave composta Transação 2 phase commit Relacional 34Sistemas NoSQL NoSQL o Flexibilidade o Grafos o Key-value store o Documento o Escalabilidade o Commodity hardware o RAM o Distributed o APIs

35 Conclusões Mudança para a abordagem NoSQL deve levar em conta as necessidades do problema Fatores a serem analisados o Escalabilidade do sistema o Consistência de dados o Facilidade de uso o Existência ou não de linguagens de consulta Cada fator tem um preço Sistemas NoSQL35

36 Conclusões SGBDRs o Soluções muito mais maduras e experimentadas o Transações dos SGBDRs ainda são a melhor forma de se trabalhar com o problema da consistência dos dados Os sistemas NoSQL servem para uma gama de problemas que nem sempre são os mesmos dos BDRs Sistemas NoSQL36

37 Conclusões Não existe, em qualquer abordagem NoSQL, nada que se aproxime da simplicidade e expressividade oferecida pelo SQL o Perde-se toda a funcionalidade oferecida: funções, rotinas armazenadas, etc. o Deixa-se de utilizar a mais simples restrição de integridade sobre o BD, o que pode tornar a aplicação mais pesada. Sistemas NoSQL37

38 Conclusões As técnicas utilizadas pelos bancos NoSQL são muitas vezes as mesmas que os programadores experientes em bancos de dados relacionais tem utilizados por anos para escalar seus sistemas mas de uma maneira otimizada e muitas vezes automática Não esperem que um banco de dados NoSQL vai ser uma silver bullet para os seus problemas de escalabilidade, em alguns casos vai ser tão difícil escalar um banco não relacional quanto um banco relacional É importante entender as ferramentas disponíveis para fazer o melhor uso possível das suas capacidades Sistemas NoSQL38

39 Referências 1.E. F. Codd, A Relational Model of Data for Large Shared Data Banks, Communications of the ACM, Volume 13, nº 6, Junho de 1970, p N. Leavitt, "Will NoSQL Databases Live Up to Their Promise?, Computer, Vol. 43, no. 2, pp , Feb NoSQL Relational Database Management System: Home Page. Strozzi.it. bin/CSA/tw7/I/en_US/nosql/HomePage. Acessado em 13/04/ bin/CSA/tw7/I/en_US/nosql/HomePage. Acessado em 13/04/ Rick Cattell. Scalable SQL and NoSQL Data Stores. SIGMOD Record, December 2010 (Vol. 39, No. 4) Sistemas NoSQL39

40 Referências 5.W. Vogels. Eventually Consistent. Commun. ACM, 52(1):40–44, D. Pritchett. BASE: An Acid Alternative, ACM Queue vol. 6, no. 3, Julho Lóscio, B. F., Oliveira, H. R., Pontes, J. C. S. NoSQL no desenvolvimento de aplicações Web colaborativas. Minicurso no VIII Simpósio Brasileiro de Sistemas Colaborativos Sistemas NoSQL40


Carregar ppt "Sistemas NoSQL Prof. Carlos Eduardo Santos Pires"

Apresentações semelhantes


Anúncios Google