Bancos de Dados Autônomos

Apresentação em tema: "Bancos de Dados Autônomos"— Transcrição da apresentação:

1 Bancos de Dados Autônomos
José Augusto Oliveira – Guga Karolyne Maria Alves de Oliveira

2 Roteiro Computação Autônoma Bancos de Dados Autônomos Estudo de Caso
Motivação Conceito Características Estudo de Caso Comércio Eletrônico Gerenciamento Dinâmico de Performance Quartermaster - uma ferramenta para distribuição automática de carga Resultados obtidos Autonomia nos SGBDs atuais Conclusões Referências

3 Computação Autônoma Motivação
Sistemas complexos, distribuídos e em grande escala Demanda de pessoal de altíssima qualificação Alto custo de gerência Aplicações web críticas, com carga aleatória

4 Computação Autônoma O que é?
Sistemas inteligentes capazes de se auto-configurar e detectar necessidade de mudanças ao longo do tempo Exemplos: Gerência autônoma de rotas em uma rede Gerência autônoma de carga em um site Gerência autônoma de carga em um SGBD

5 Computação Autônoma Características Auto-conhecimento
Auto-configuração por demanda Otimização contínua Auto-correção Monitoração de segurança Detectar e adaptar-se a coexistência com outros sistemas Deve ser aberto Tudo isso sem intervenção humana

6 Bancos de Dados Autônomos
Características (Sistemas Autônomos) Compatibilidade com diversos sistemas Auto-conhecimento Auto-configuração DBA Auto-correção Otimização contínua Monitoração de segurança Adaptar-se a coexistência

7 Bancos de Dados Autônomos
Problemas Demanda crescente por qualidade de serviço (QoS) SGBD Funcional Conectado Disponível Heterogêneo Manutenção constate Volume exponencial de dados Era dos serviços eletrônicos

8 Bancos de Dados Autônomos
Estudo de Caso Comércio Eletrônico Compatibilidade com diversos sistemas Auto-conhecimento Auto-configuração DBA Auto-correção Otimização contínua Monitoração de segurança Adaptar-se a coexistência

9 Estudo de Caso Comércio Eletrônico Comércio Eletrônico B2B B2C
Aplicações Internas

10 Estudo de Caso Aplicações B2C Maior volume de aplicações eletrônicas
Sites de venda on-line Serviços Bancos Órgãos Públicos Operadoras de telefonia QoS $$$ Lentidão Indisponibilidade Confiabilidade Solução Priorizar acesso

11 Estudo de Caso O Problema
Sites de comércio eletrônico movimentam transações da ordem de $K/seg. Volume de acesso é absolutamente aleatório Super estrutura torna serviço caro Estrutura enxuta causa estrangulamento eventual Mudança do volume de acesso é freqüente e rápida

12 Estudo de Caso Abordagem Classificar as transações
Prover o banco com um mecanismo de monitoramento e reconfiguração sensível ao atendimento de QoS Implementar o mecanismo em um banco comercial Realizar experiências com variação de cargas de trabalho características de aplicações de comércio eletrônico Observar os valores obtidos em itens determinantes de QoS Mostrar que os indicadores permanecem constantes mesmo com a mudança aleatória de carga

13 Estudo de Caso Gerenciando performance Como se faz isso atualmente
Controle de admissão Prioridade definida por parâmetros estáticos Configurações geralmente demandam interrupção do banco Modelo proposto Gerência de recursos orientada à metas (QoS) Gerência de recursos do SO para o banco Sistema no ar

14 Estudo de Caso Quartermaster Interface Planner Analisador Controlador
Metas de performance Quartermaster Interface Planner periodicamente Regras de Descrição Analisador Controlador Metas de Performance Monitor Log de Eventos Recursos do Banco

15 Estudo de Caso DB2 Realocação de Memória Planner Controlador
Metas de performance Realocação de Memória Planner ARD IA < 1 !!! Regras de Descrição Controlador Analisador Metas de Performance Monitor Log de Eventos Gerentes de I/O . . . Buffer Pools Buffer cleaners DB2 Tamanho configurado Substituição de página local ao BP índice depósito cliente item

16 Estudo de Caso Monitor API de monitoração do DB2 Para cada buffer pool
Metas de performance Monitor API de monitoração do DB2 Para cada buffer pool Número de leituras lógicas Número de leituras físicas Regras de Descrição Metas de Performance Monitor Log de Eventos Recursos do Banco

17 Estudo de Caso Analisador IA = Tempo de resposta meta
Metas de performance Analisador IA = Tempo de resposta meta Tempo de resposta real IA < 1 !!! periodicamente Regras de Descrição Analisador Metas de Performance Monitor Log de Eventos Recursos do Banco

18 Estudo de Caso Planner ARD Planner Analisador Monitor Recursos do
Banco

19 Estudo de Caso Algoritmo de relocação - ARD Algoritmo guloso Iterativo
A cada iteração Realoca uma quantidade β de páginas entre buffers Quem recebe? Buffers onde estão os objetos de T que violou QoS Quem cede? Demais buffers A eleição dos buffers origem (cedem) busca o resultado ótimo para T Melhor troca possível “resultado ótimo” em tempo de resposta Lógica simples : mais acertos nos buffers => menos acesso a disco β . . . Buffer Pools

20 Estudo de Caso Encontrando a melhor troca
Para cada par possível origem-destino Calcular a taxa de acerto pós troca Origem-β páginas x Destino+β Baseando nestes valores, encontrar o custo (tempo) de leitura de um buffer Somar todas as leituras que uma transação da classe T faz nos buffers Isso significará o tempo médio de leitura para uma transação da classe T (representaremos por C ) O par de buffers origem-destino que produzir o menor valor de C é a melhor troca

21 Estudo de Caso 1 – taxa de acerto pós troca Onde :
Equação de Belady para taxa de acerto H(M) = 1 - a x Mb a = 1 – H(M1) b = ln(1 – H(M2)) – ln(1-H(M1)) eb x ln(M1) lnM2 – lnM1 Onde : H(M) – taxa de acerto para o tamanho M de buffer pool M – Tamanho do buffer pool a e b - constantes

22 Estudo de Caso 2 – Encontrar o custo de leitura
Clique aqui para demonstração... ri = (1 – Hi) x ( 1 + (1- p(Mi)) x d ) Onde : Hi – taxa de acerto no buffer i d – proporção de páginas sujas no buffer i de tamanho Mi p(Mi) – Proporção de “páginas sujas” limpas pelos I/Ocleaners Tempo de Resposta Ci = ∑∑Li(0) x rj todos os objetos de T em um buffer todos os buffers

23 Estudo de Caso Experimento 1
Mudança de QoS faz comportamento de alocação de buffers mudar Experimento 2 Mudança de carga pode ser absorvida pelo ARD, mantendo QoS constante

24 Estudo de Caso - Experimento
O experimento utilizou três buffer pools identificados por BP_DATA1, BP_DATA2 e BP_INDEX. BP_DATA1 – WareHouse, Tabelas de Itens e de Distritos. BP_DATA2 – Outras tabelas BP_INDEX – Todos os Índices Existe um total de páginas alocadas pelos buffer pools da seguinte maneira: BP_DATA1 – páginas BP_DATA2 – páginas BP_INDEX – páginas

25 Estudo de Caso – Experimento 1
Panorama dos resultados Mudança de QoS faz comportamento de alocação de buffers mudar Classes de Transações Estado Anterior Estado Posterior Novo Pedido 2.52 1.49 Entrega 2.51 1.41 Pagamento 0.30 0.26 Status do Pedido 0.25 Nível do Estoque 0.11 Experimento 1 – Média do Tempo de Resposta (seg) Média do Tempo de Resposta (Segundo) Índice de Acerto (BP_DATA1, BP_DATA2, BP_INDEX) Estado Anterior 2.51 0.60 (33334, 33333, 33333) Estado Posterior 1.41 1.06 (10334, 53333, 36333) Experimento 1 – Detalhes da Classe Entrega Novos requisitos de QoS foram atendidos! As metas das outras classes permanecem “melhor-esforço”

26 Estudo de Caso – Experimento 2
Classes de Transações Estado Anterior Estado Intermediário Estado Posterior Tempo de Resposta % de carga de trabalho Novo Pedido 2.47 45 2.87 90 2.27 Entrega 2.48 4 3.35 2 2.45 Pagamento 0.31 43 0.43 0.38 Linha de Pedido 0.28 0.32 Nível do Estoque 0.12 0.16 0.11 Experimento 2 –Tempos de Resposta e Porcentagem de carga de Trabalho

27 Estudo de Caso – Experimento 2
Estado Classe de Transações Média do Tempo de Resposta (Segundo) Índice de Acerto (BP_DATA1, BP_DATA2, BP_INDEX) Estado Intermediário Novo Pedido 2.87 0.87 (5000, 5000, 90000) Entrega 3.35 0.75 Estado Posterior 2.27 1.10 (500, 23000, 76500) 2.45 1.02 Experimento 2 – Detalhes Requisitos de QoS foram atendidos!

28 Autonomia nos SGBDs atuais
Otimização Automática Ajuste dinâmico de consultas Configuração automática Assistentes de instalação e configuração Muito pouco de automático Auto-recuperação Parcial : recupera, mas precisa ser acionado Auto-Proteção Mecanismos de auditoria Criptografia Controle de acesso

29 Autonomia nos SGBDs atuais
Auto-organização Mudanças em tabelas no ar (Oracle) Reindexação no ar Auto-inspeção “Se você não consegue medir, você não sabe” Ferramentas para estatísticas de performance baseados em data mining.

30 Autonomia nos SGBDs atuais
O que falta? Diminuir a dependência de intervenção humana Adaptação dinâmica Configuração de parâmetros no ar Maior capacidade analítica Estratégia de manutenção inteligente Interface padrão com outros sistemas Estratégia de segurança e privacidade mais ambiciosa

31 Conclusão É uma extensão proposta para responder o crescimento da complexidade e a necessidade de agilidade. O DBA é um mortal Uma proposta foi vista Experimentos mostraram resultados satisfatórios Para cada característica de autonomia Ciência a ser produzida

32 Referências [Martin, Powley, Li] Managing Database Server Performance to Meet QoS Requirements in Electronic Commerce Systems, 2004 [Elnaffar] Towards Workload-Aware DBMSS: Identifying worload type and predicting its change, tese de doutorado submetida a universidade Kigston, Ontário, Canadá [Elnaffar, Martin]An intelligent framework to predict shifts in the workload of SGBDSs