A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

A Revolução do Big Data Foco em infraestrutura de dados SUCESU–BA 2014 Ilan Grinspun Storage Specialist.

Apresentações semelhantes


Apresentação em tema: "A Revolução do Big Data Foco em infraestrutura de dados SUCESU–BA 2014 Ilan Grinspun Storage Specialist."— Transcrição da apresentação:

1 A Revolução do Big Data Foco em infraestrutura de dados SUCESU–BA 2014 Ilan Grinspun Storage Specialist

2 O Que é Big Data?

3 Ilan Grinspun Definição de BIG DATA Big Data is like teenage sex: Everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it too! Big Data é como sexo na adolescência: Todos falam sobre ele, ninguem realmente sabe como fazer, todos acham que os outros estão fazendo, então todos dizem que estão fazendo tambem!

4 Ilan Grinspun Definições de BIG DATA Big data é a habilidade de extrair informação de diferentes conjuntos de dados estruturados e/ou não estruturados através de uma nova geração de softwares, aplicações, sistemas e arquiteturas computacionais e de Storage. Data Analytics é a procura por padrões em quantidades massivas de dados gerados por diferentes fontes.

5 Ilan Grinspun Big Data em todo lugar! Os dados estão sendo gerados, coletados, armazenados e analizados –Internet das coisas –e-comerce –Transações bancarias –Redes Sociais –RFID –WIFI Tracking –GPS+3G/4G Informação Não Estruturada Internet da coisas Informação de posição, RFID, WIFI, 4G.

6 Ilan Grinspun Quais os numeros do Big Data? 640K são suficientes para todo mundo Google executa 2 milhões de procuras por minuto e processa 40 PB por dia O universo digital cresce a uma taxa de PB / dia Apenas 1% dos dados globais são analisados Dados gerados por maquinas produzirão 40% de todos os dados até 2020 O equivalente ao conteudo inteiro da biblioteca do congresso americano passa pela internet a cada 10 segundos

7 Storage Marketing 7 A Dimensão do Big Data. Velocidade Variedade Valor Volume 92% taxa de crescimento de trafego de dados de 2010 a % dos decisores querem mais informações 85% não estruturado! Tamanho dos dados explode a taxa de 650% nos proximos 5 anos. Internet das coisas Interações Arquivos Humanos PC Internet Mobile Mainframe Machine Petabyte Terabyte Exabyte Zettabyte Volume De Dados Dados Transacionais (Estruturados) Zettabytes em dados corporativos Dados Não estruturados Logs, Files Multi-Structured Block & File Streaming Zettabytes em dados corporativos Zettabyte = 1,000,000,000,000,000,000,000 Bytes Graph based on IDC and UC Berkeley Data Growth Estimates, Source: IDC & CosmoBC.com:

8 Ilan Grinspun Exemplos de Aplicações Netflix produziu o primeiro seriado(House of Cards) baseado em informações sobre o diretor mais assistido(David Fincher) e do ator preferido(Kevin Spacey) do grande publico. Rede de supermercados canadense descobre o que casais compram e as marcas mais usadas antes de darem a luz e enviam cupons de desconto para acessórios de bebes (carrinhos, fraldas, etc) Google descobre surtos de gripe antes da agencia nacional de saúde. Caso Turnstyle (Smartphones WIFI real time). Rede varegista Dollar General monitora combinações de compras nos carrinhos “Este é o Universo em que todos nós estamos: por causa do Big Data, todas as lojas saberão o que nos oferecer, todos os governos vão estar nos monitorando, seu medico saberá de seu passado, sua empresa lhe conhecerá antes de voce fazer a entrevista de emprego, esta será a norma!"

9 Quais tecnologias tornam o Big Data uma possibilidade?

10 Ilan Grinspun Os Pilares do Big Data

11 Big Data muda toda TI como conhecemos! Nodes do cluster SQL Server Clientes SQL Server Database Passivo O crescimento scale-up ocorre adicionando mais recursos para um single node ou substituindo por um node maior Nodes do cluster SQL Server Clientes SQL Server Database Nodes do cluster SQL Server Clientes SQL Server Database Ativo

12 CONFIDENTIALStorage Marketing Arquiteturas: SAN Scale-Up e NAS Scale-Out Rede Interna LAN CIFS NFS Disk Arrays FluidFS Gateways Sempre redundantes Write cache espelhada Load Balanced SAN “back-end” FluidFS

13 CONFIDENTIALStorage Marketing 13 Load balancing Otimização de performance As conexões são automaticamente balanceadas por todas as portas e todas as controladoras no cluster Single namespace significa que arquivos de dados não precisam ser fragmentados ou colocados em silos individuais de grupos de arquivos quando appliances são adicionados Single namespace Controller 1 Controller 2 FluidFS appliance Controller 1 Controller 2 FluidFS appliance NAS storage pool (underlying SAN storage) BCDEFGHA, I MAC address AMAC address GMAC address FMAC address EMAC address DMAC address CMAC address B Client network

14 14 Infraestrutura Hiper Convergente Infraestrutura Tradicional Infraestrutura Hiper Convergente Servidor Storage

15 15 Arquitetura inovadora da Nutanix VMVMVM Storage Capacity Storage Control Compute X86 Node VMVMVM Storage Capacity Storage Control Compute X86 Node VMVMVM Storage Capacity Storage Control Compute X86 Node Melhor performance Convergência elimina gargalos Performance linear Escalabilidade Escale “um nó por vez" Expansão do cluster sem parada Confiável Sem ponto único de falha Reproteção automática

16 16 Data Locality X86 Node ESX VMVM VM CVM SSD HDD X86 Node ESX VMVM VM CVM SSD HDD X86 Node ESX VMVM VM CVM SSD HDD

17 17 Hot Tier X86 Node ESX VMVM VM CVM SSD HDD X86 Node ESX VMVM VM CVM SSD HDD X86 Node ESX VMVM VM CVM SSD HDD

18 Dell - Restricted - Confidential Global Marketing 18 Flash Pool: Otimiza o caminho dos dados. Storage Array Gerenciado pela controladora do storage Bandwidth é compartilhada por muitos servidores Latencia SAN é problema Storage Area Network Flash roda em appliance como cache Compartilhada entre arrays Bandwidth é compartilhada por muitos servidores Latencia SAN é problema Server Gerenciada pelo S.O. Não há latencia SAN Pode rodar a velocidade PCIe mais rapido do que SAN Escala performance adicionando SSDs Roda como cache: Localização e gerencia dos dados é tranquila Tira proveito das funcionalidades do Storage: HA, replicação, thin provisioning, e Dedup Flash traz os dados para mais perto da aplicação Flash SSDs

19 Ilan Grinspun Cache SW 4 1 Aproximando o Flash do Servidor: Confidential 19 Server Storage Network (FC or iSCSI) PCIe SSD (Sevidores) + Caching Software + SAN = Applicações Aceleradas = Problema resolvido Data has to go to SAN every time for shared storage writes and reads Pvt Cache Network Fast access to data in the PCIe SSD Cache between nodes Storage Area Network (SAN) PCIe SSD 2 3 Low Latency IB Or 10Gb w/RDMA INSTALL ADD ENABLE

20 @ Dell_Enterprise Enterprise Solutions Marketing20 A Tierização permite conseguir performance de Storage flash ao preço de disco 84% RU reduction 50% more IOPS 90% latency reduction 56% lower price Beneficios do Tiered Flash Space Savings 264 x 15k HDDs 24 x SSDs Workload necessario: 40,000 IOPS 30TB Raw Storage

21 MLC SSDs reduz custo $/GB mas requer cuidados especiais com os dados Arrays Hibridos: –2 tiers de SSD e discos de 7.2k –Custo equivalente ($/GB) a 15K –Performance muito superior Tipos de utilização –All flash arrays (Performance) –Hibrido (Performance & capacidade) –HDD ( Capacidade e custo controlado ) Redução de custos com MLC flash $/GB Capacity 21

22 Enterprise SAS SSDs –Duas portas SAS para performance e alta disponibilidade –Monitoramento de uso integrado –Provisionado para durabilidade e performance sustentada. –Tecnologia de cache Non-volatil em cada drive –Proteção total de dados (IOEDC/IOECC) Nem todo SSD é criado igual HeaderWrite Intensive (WI)Read Intensive (RI) UtilizaçãoAplicações Top Qualquer uso Maioria Leitura 90/10 R/W Mix Capacidade400/800 GB1.6 TB Utilização(Full writes / Day)303 Endurance (written PBs)21.9PB8.76PB Performance IOPS (8K 70/30 R/W)38K14K Gravação de banda400 MB/s70 MB/s Data Progression*Escrita direta de servidoresRead-only replay data 22 Confidential

23 CONFIDENTIALStorage Marketing Distributed device management delivered as a SaaS services High performance SAN iSCSi solutions for virtualization Intelligent infrastructure and mgmt. of multi-tier storage architecture Storage compression & de- duplication Remote systems management appliance Clustered NAS storage A single point of mgmt for both physical and virtual resources Remote management – continuity and archiving SaaS Archiving and image management solution for healthcare vertical. Para o sucesso do Big Data em sua empresa procure o parceiro tecnologico correto! 23 Software asset management IT monitoring software App mgmt., deployment svcs, and infrastructure consulting Simple, easy-to-use SaaS integration tool and consulting Efficient WorkforceEfficient Cloud / ServicesEfficient Data Center Managed security services, threat intelligence and security & risk consulting Memory Virtualization technology Consulting services & cloud expertise Server, data and application protection for virtual, physical and cloud infrastructures Advanced data protection & network security High-performance data centre networking Cloud Client Computing solutions Mainframe migration, modernization, and optimization Application modernization software and services IT management software

24 CONFIDENTIALStorage Marketing 24 SUCESU–BA Ilan Grinspun Storage Specialist

25 Scale Out Crescimento sem fim… –NAS Scale-Out. Crescimento horizontal, com adição de controladoras. –Sem necessidade de reconfigurações de provisionamento (Thin provisioning) –Single Namespace capaz de crescimentos exponenciais: Dezenas ou centenas de Terabytes, para comportar dados não estruturados Analytics: Predictive Modeling Decision Processing Demographics Behavior Analysis Data Warehouse Hosting Digitization/archive Backup Web 2.0 Engineering Collaboration Design Optimization Process Flow Fluid Dynamics 3D Modeling Simulation Genome Sequencing Seismic Processing Weather forecast

26 Ilan Grinspun


Carregar ppt "A Revolução do Big Data Foco em infraestrutura de dados SUCESU–BA 2014 Ilan Grinspun Storage Specialist."

Apresentações semelhantes


Anúncios Google