Projeto de Datacenters Prof. Rafael Guimarães, PhD rguima@gmail.com

Agenda Introdução aos datacenters Considerações de projeto O que são, desafios, tipos Considerações de projeto Áreas funcionais de um datacenter Cabeamento horizontal e backbone Organização de racks e refrigeração Classificação de datacenters em tiers Técnicas de identificação Racks, cabos, conexões Datacenter verde

O que é um datacenter? É uma edificação, ou parte de uma edificação, cuja função primária é hospedar uma sala de computadores e suas áreas de suporte. Hospeda equipamentos e dados de missão crítica!

Desafios Desafios de um datacenter Garantir disponibilidade de aplicações/sistemas (SLA) Hospedar sistemas complexos e heterogêneos Garantir níveis de serviço para tempo de resposta Manipular grandes quantidade de dados (disponíveis e backups) Manter conformidade com normas regulatórias e de segurança Acompanhar alterações nos requisitos de negócio Aplicar práticas “verdes” e de redução de consumo de energia

Tipos de datacenter Existem basicamente dois tipos: Datacenter corporativo Possuído e operado por corporações privadas, institutos e órgãos governamentais Suportado por equipe de TI própria ou contratados Datacenter de Internet Possuído e operado por operadores de telecom e provedores de serviços Provê terceirização de TI

Considerações de projeto Coordenação de todos os aspectos de projeto é crítica: Sistema de cabeamento de telecomunicações Projeto de piso de equipamentos Projetos elétricos Projeto arquitetônico Ar-condicionado Segurança Iluminação

Processo de projeto Processo de projeto recomendado: Estimar as necessidades dos equipamentos à capacidade total Antecipar crescimento futuro do datacenter Prover todos os requisitos para arquitetos e engenheiros Criar um projeto de piso de equipamentos Projetar sistema de cabeamento de telecomunicações

Áreas funcionais 5 áreas funcionais propostas pela norma TIA-942: Sala de entrada (ER) Área de distribuição principal (MDA) Área de distribuição horizontal (HDA) Área de distribuição de zona (ZDA) opcional Área de distribuição para equipamentos (EDA) Idealmente salas separadas, o que não é prático para maioria das organizações Pode ser consolidado em áreas pré-definidas

Áreas funcionais

Áreas funcionais Sala de entrada (ER) Demarcação de ponto de provimento de acesso Equipamento de terminação para cabos de provedor de acesso Interface entre cabeamento do datacenter e cabeamento do edifício Caminho para todos os cabos de entrada Pode ser localizada dentro ou fora da sala de computadores

Áreas funcionais Área de distribuição principal (MDA) Ponto central de distribuição Inclui as conexões principais (MC) Pode incluir conexões horizontais (HC) Roteadores e switches núcleo para LAN/SAN e PBX Localizado dentro da sala de computadores Deve haver pelo menos uma MDA

Áreas funcionais Área de distribuição horizontal (HDA) Suporta todo o cabeamento para a área de distribuição de equipamentos Inclui as conexões horizontais (HC) Switches para os equipamentos na EDA estão aqui Localizado dentro da sala de computadores Mínimo de uma HAD por andar

Áreas funcionais Área de distribuição de zona (ZDA) Ponto de interconexão opcional com o cabeamento horizontal Localizada entre HAD e EDA Permite reconfiguração frequente e flexibilidade Deve servir no máximo 288 conexões para evitar congestionamento de cabos Não deve possuir nenhum equipamento ativo

Áreas funcionais

Áreas funcionais Zona de distribuição para equipamentos (EDA) Espaço para equipamentos – servidores, mainframes, storage etc Cabeamento horizontal termina aqui em patch panels Cabeamento ponto-a-ponto entre equipamentos é permitido

Cabeamento horizontal Topologia de cabeamento horizontal

Cabeamento horizontal Cabeamento entre HAD e EDA incluindo cabos horizontais, patch cords etc

Cabeamento backbone

Cabeamento backbone Cabeamento entre ER, MDA e HAD Deve permitir reconfigurações de rede e crescimento futuro

Topologia reduzida Redução da topologia de datacenter Consolidação de ER, MDA e HDA Aplicável à maioria das empresas

Passagem de cabos O cabeamento do datacenter deve seguir a norma ANSI/TIA-596-B Os cabos não deve passar por espaços públicos a não ser quando protegidos por passagens seguras Acessos para manutenção, caixas de junção e caixas de distribuição devem ser trancadas e monitoradas

Passagem de cabos Sala de entrada (ER) Cabos deve passar por baixo do piso (elevado) Cada provedor de acesso deve possuir ao menos um conduíte de 4’’ Deve seguir a norma ANSI/TIA-569-B

Passagem de cabos Por baixo do piso (elevado) Cabeamento por baixo do piso deve passar por calhas ventiladas para evitar bloqueio do fluxo de ar Calhas devem ser instaladas em múltiplas camadas Mais barato do que cabeamento aéreo se o piso for elevado Deve prover capacidade de crescimento Separar fibras de cabos de cobre e de cabos de energia

Passagem de cabos Cabeamento aéreo Calhas devem ser instaladas em múltiplas camadas (3 camadas) Camada inferior: cabeamento de cobre Camada intermediária: fibra Camada superior: cabos de energia Calhas devem ser suportadas pelo teto

Racks Posicionamento de racks Corredor quente / corredor frio alternados Corredores frios são a frente e corredores quentes a traseira dos racks Se houver piso elevado Cabos de energia passam pelos corredores frios Cabos de dados passam pelos corredores quentes

Refrigeração 9 soluções Cada solução tem sua aplicação ideal Fonte: www.apcdistributors.com

Refrigeração para pisos fixos Fonte: www.apcdistributors.com

Refrigeração para pisos fixos Fonte: www.apcdistributors.com

Refrigeração para pisos elevados Fonte: www.apcdistributors.com

Refrigeração para pisos elevados Fonte: www.apcdistributors.com

Refrigeração Sistemas de condução de calor/frio por dutos

Tiers A norma TIA-942 define 4 tiers (“níveis”) para datacenters: Relacionados com os níveis de disponibilidade da infraestrutura As classificações de tiers foram definidas originalmente pelo Uptime Institute Sistemas críticos podem ter diferentes classificações Classificações podem cair à medida que a carga do datacenter aumenta com o tempo

Tiers Tier I – Básico Caminho único para distribuição de energia e de refrigeração Sem componentes redundantes Não necessita ter piso elevado Suscetível a interrupção devido a atividades planejadas ou não planejadas 28,8h anuais fora do ar

Tiers Tier II – Componentes redundantes Caminho único para distribuição de energia e de refrigeração Componentes redundantes Possui piso elevado Um pouco menos suscetível a interrupções do que o Tier I 22,0h anuais fora do ar

Tiers Tier III – Manutenibilidade concorrente Múltiplos caminhos para distribuição de energia e de refrigeração – apenas um caminho ativo Componentes redundantes Permite a realização de qualquer atividade programada relacionada com infraestrutura sem interrupção da operação 1,6h anuais fora do ar

Tiers Tier IV – Tolerante a falhas Múltiplos caminhos ativos para distribuição de energia e de refrigeração Componentes redundantes Todos os componentes de hardware devem possuir duas fontes de alimentação Suporta pelo menos uma falha ou evento não programado que não cause impacto crítico 0,8h anuais fora do ar

Tiers Tier IV – Redundância de fornecimento de energia

Tiers I II III IV Tier Características de negócio Efeito no projeto do sistema I Tipicamente empresas pequenas Presença online limitada Pequena dependência de TI Tempo fora do ar é tolerado Vários pontos únicos de falha Sem gerador se UPS suporta 8min Geralmente não suporta mais de 10min de falta de energia II Parte da receita se obtém online Múltiplos servidores Sistema de telefonia é vital Dependente de email Tolerante a paradas programadas Alguma redundância no fornecimento de energia e sistema de refrigeração Gerador de backup Pode suportar 24h sem energia Sala de dados formal separada as outras áreas III Presença global Maior parte da receita é obtida online Sistema telefônico VoIP Alta dependência de TI Alto custo por tempo parado Sistemas de energia e refrigeração redundantes Provedores de serviços redundantes Pode suportar 72h sem energia Permite manutenção concorrente Planejamento cuidadoso da escolha do local IV Negócio de vários milhões Maioria da receita de transações eletrônicas Modelo de negócios dependente de TI Custo extremamente alto por tempo parado 2N sistemas de energia e refrigeração Pode suportar 96h sem energia Critério rígido de escolha do local Equipe de manutenção 24/7 no local

Identificação de setores O piso deve seguir a matriz do próprio datacenter Use duas letras e dois dígitos numéricos para cada pedaço de 60cm x 60cm do piso Ou cada módulo do piso elevado AA, AB, AC, …, AZ, BA, BB, BC, … Similar à batalha naval

Identificação de setores Localização de um rack Se houver mais de um andar, colocar o número de andar como prefixo: 2AJ05

Identificação de patch panels Usar letras (A,B,C,...) de cima para baixo

Identificação de patch panels Conexões do patch panel Rack, seguido do patch panel seguido das portas

Identificação de patch panels Cabos e patch cords Devem possuir indicações de ambas as terminações nas duas pontas do cabo

Datacenter verde Por muitos anos, questões ambientais foram consideradas preocupações para poucos Para CEOs Consumo de energia e preocupações ambientais assumem novo significado ao bloquear a capacidade de crescimento da empresa Para CIOs Necessidade de encontrar maneiras de ampliar a capacidade das operações para atender exigências do negócio

Datacenter verde Custos de energia em ascensão Equipamentos de TI pressionando infraestrutura de energia e resfriamento Crise operacional e econômica pode estar em vias de acontecer Eficiência energética passa a integrar lista de parâmetros operacionais junto com disponibilidade, confiabilidade e desempenho. Transição para um datacenter verde e a otimização da eficiência operacional podem ser tarefas complexas

Datacenter verde Tornar-se verde é uma necessidade que as empresas terão que incorporar o quanto antes se quiserem sobreviver economicamente Desafios para os CIOs Surgimento de servidores mais rápidos, dispositivos de armazenamento mais baratos e equipamentos de rede mais flexíveis Demandam cada vez mais energia! Evolução dos servidores de alta densidade (blades), aumentou densidade térmica Sobrecarregam sistemas de refrigeração

Datacenter verde Custos de eletricidade e refrigeração representam até 44% do TCO de um datacenter Custo para fornecer energia e resfriar servidores durante 3 anos é atualmente 1,5x maior do que custo de compra de softwares para servidores O problema atual não é só pagar pelos servidores, é ter verba para pagar pela energia e resfriamento Algumas empresas não conseguem instalar novos servidores pois não há energia adicional, seja qual for o preço

Datacenter verde Demanda por energia para servidores duplicou de 2000 para 2005 Energia utilizada para servidores, resfriamento e infraestrutura de apoio foi responsável por 1,2% de todo o uso de eletricidade nos EUA neste período Nos EUA diversas fornecedoras de energia oferecem descontos em contrapartida a uma maior eficiência energética por parte dos consumidores Na Austrália, grandes consumidores devem apresentar plano de avaliação e ação

Datacenter verde Para caminhar em direção a um datacenter verde: Mudanças energéticas e de resfriamento Virtualização Hardware e software eficientes em termos de energia Iniciativas de gerenciamento de energia e cargas de trabalho

Datacenter verde Passos iniciais para datacenter verde Avaliação de melhores práticas Auditoria energética Certamente aparecerão inúmeras oportunidades para melhoria da eficiência energética Grandes projetos de infraestrutura Upgrade de resfriadores Upgrade do sistema de UPS Melhorias simples e baratas Bloqueio de aberturas p/ cabos para impedir saída de ar frio Remoção de bloqueios de cabos sob o piso que impeçam circulação de ar Desligamento de servidores sem carga de trabalho Desligamento de unidades de ar-condicionado em áreas refrigeradas em excesso

Datacenter verde Aplicar enfoque modular no projeto futuro com relação à energia e resfriamento Necessidades do negócio provavelmente irão mudar ao longo do tempo Permitir fácil expansão ou modificação

Datacenter verde Melhorias no layout de racks e salas podem contribuir com investimento inicial baixo Organizar equipamentos de TI em configuração de corredor quente e corredor frio Posicionar equipamento de forma a tornar possível o controle do fluxo de ar entre alas quentes e frias O ar quente não deve circular novamente pelas entradas de resfriamento dos equipamentos de TI Utilizar opções complementares de resfriamento de baixo custo – água ou outros refrigeradores Aumentar eficiência de resfriamento com trocadores de calor de porta traseira ou sistemas de racks embutidos para dissipar calor

Datacenter verde Estudos da IBM demonstraram que servidores blade reduzem as necessidades de energia e resfriamento em 25% a 40% Além da economia de espaço! Virtualização pode melhorar a eficiência energética do datacenter Menos servidores são necessários Diferença de consumo/calor de entre servidores utilizados 100% do tempo ou 15% é pequena Servidores sem uso podem ser desligados

Bibliografia ANIXTER. Datacenter Infrastructure Resource Guide. Glenview: Anixter, 2008. CHALASANI, Sri. TIA-942: Data center standards. 2010. FURUKAWA. Guia de recomendação para um data center. Curitiba: Furukawa, 2009. IBM. O Datacenter verde. Somers: IBM, 2007. TELECOMMUNICATIONS Industry Association. TIA-942: Telecommunications Infrastructure Standard for Data Centers. Arlington: TIA, 2005. http://www.fiberoptics4sale.com/wordpress/cabling-a-data-center-to-tia-942-standard/