Live Migration of Virtual Machines Departamento de Eletrônica – Escola Politécnica Programa de Engenharia Elétrica – COPPE Rafael dos Santos Alves

Informações Autores Christopher Clark Keir Fraser Steven Hand Jacob Gorm Hansen Eric Jul Christian Limpach Ian Pratt Andrew Warfield Publicação Second Symposium on Networked Systems Design and Implementation (NSDI'05)

Motivação Balanceamento de carga Manutenção do sistema Separação entre hardware e software Vantagens em utilizar máquinas virtuais Evita dependências residuais Permite transferência de estado na memória de forma consistente Permite separação de preocupações entre operadores e usuários

Objetivos Minimizar tempo “fora do ar” Tempo total de migração Manter sem interrupções serviços ativos

Abordagens Prévias Collective Mobilidade para usuários que utilizam diferentes hosts Conexões lentas Interrupção do sistema operacional VMware Migração de processo Dependência residual

Questões de projeto Memória transferida Minimizar tempo “fora do ar” e tempo total de migração Recursos locais Memória Disco Interfaces de rede...

Memória transferida Três fases de transferência Push Máquina fonte continua executando Páginas são transferidas e em caso de modifcação retransferidas Stop-and-copy Simples Tempo “fora do ar” inaceitável Pull Nova máquina executa Páginas faltantes são puxadas pela rede

Abordagem utilizada Uma fase push iterativa e limitada n rodadas Páginas modificas na rodada i-1 transferidas na rodada i Uma pequena fase stop-and-copy Pequeno conjunto de páginas frequentemente modificadas

Recursos locais Recursos de rede Manter conexões abertas Respostas ARP não solicitadas Armazenamento local Assume NAS (Network Attached Storage)

Visão geral

Writable Working Sets (WWS) Maior influência no desempenho Sobrecarga de transferência de memória Conjunto de páginas frequentemente alteradas Devem ser transferidas via stop-and-copy

Medição do WWS

Medição do WWS (2)

Medição do WWS (3)

Medição do WWS (4)

Medição do WWS (5)

Questões de implementação Migração gerenciada vs. Automigração Limitação dinâmica de taxa Alteração frequente das páginas Otimizações para paravirtualização Interrupção de processos “trapaceiros” Liberação páginas

Migração gerenciada Daemons na VM de gerenciamento Dirty bitmap Páginas sombra Tabelas de páginas marcadas como somente leitura Tentativas de modificação interceptadas pelo Xen Reiniciadas ao final de cada iteração

Automigração Realizado pelo SO sendo migrado Dificuldade em definir um checkpoint Solução: stop-and-copy de dois estágios Interrupção dos processos (exceto os de migração) Páginas alteradas são enviadas para o dirty bitmap Transferência das páginas alteradas no primeiro estágio

Limitação dinâmica de taxa Altas taxas de transferência Impacto nos serviços Adaptação da largura de banda 1ª fase de pré-cópia com menor banda possível Para cada fase seguinte cálculo da taxa de alteração de páginas Banda para próxima rodada igual a taxa de alteração mais uma constante (50 Mb/s) Fase stop-and-copy com banda máxima

Alteração frequente das páginas Algumas páginas com alta frequência de alteração Páginas modificadas na última rodada não são transferidas na rodada atual Alteração de páginas em aglomerados Varredura da memória física em ordem pseudo- aleatória

Otimizações para parvitualização Interrupção de processos “trapaceiros” Alteram a memória mais rápido do que o processo de pré-cópia Thread de monitoramento Processos com mais de 40 faltas de páginas movidos para o modo suspenso Não deve interromper serviços importantes

Interrupção de processos

Otimizações para parvitualização Liberação de páginas SO típicos possuem páginas livres Não precisam ser copiadas Caso sejam necessárias Faltas de páginas Transferidas do disco Aumento do custo

Avaliação 2 servidores Dell PE-2650 Dual Xeon 2 GHz Somente 1 CPU utilizada HyperThreading habilitado 2 GB de memória RAM Interface de rede Broadcom TG3 Comutador Gigabit Ethernet Servidor NAS NetApp F840 XenLinux

Servidor web simples Apache 1.3 Memória alocada de 800 MB

Servidor web complexo SPECweb99 30% geração de conteúdo dinâmico 16% operação HTTP POST 0,5% de scripts CGI Geração de logs QoS Banda agregada de 320 kb/s

Servidor web complexo (2)

Servidor de baixa latência Quake 3 Memória alocada de 64 MB Seis jogadores

Servidor de baixa latência (2)

Servidor de baixa latência (3)

Carga “diabólica” Mmuncher Escrita em memória mais rápida que a transferência pela rede Memória alocada de 512 MB Programa em C escreve em área de 256 MB

Carga “diabólica” 3,5 segundos de downtime

Trabalhos Futuros Gerenciamento em clusters Redirecionamento em WANs Migração de blocos de disco