A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado.

Apresentações semelhantes


Apresentação em tema: "Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado."— Transcrição da apresentação:

1 Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado

2 Agenda Ambiente e supervisão Contexto Resumo do problema Atividades Resultados Considerações finais

3 Ambiente de Estágio LSD Supervisão acadêmica – Prof.ª Dr.ª Raquel V. Lopes Supervisão técnica – Rodrigo Vilar de Miranda

4 Contexto Uso de grades computacionais na pesquisa científica Dificuldade de gerenciá-las: – Distribuição – Alta heterogeneidade – Complexidade Dados históricos podem ajudar nas atividades gerenciais

5 Contexto Caso de Uso: OurGrid – Middleware de grades computacionais desenvolvido no LSD. – Possui um sistema hierárquico de coleta de estatísticas. – Já existe uma ferramenta de análise de dados históricos: OurGrid Statistics.

6 Contexto

7

8 Resumo do problema O OurGrid Statistics não escalou. – A principal tabela do BD central ultrapassou os 8 Mi de registros. – O Statistics não conseguia gerar mais nenhum gráfico. As consultas do Statistics foram escolhidas de forma ad-hoc. – Quais as consultas que otimizam a atividade gerencial?

9 Objetivos Fazer um levantamento bibliográfico sobre como é feita gerência em outras grades. Estudar estratégias de OLAP que viabilizem as consultas a serem realizadas. Implementar as consultas escolhidas usando as técnicas estudadas.

10 Atividades Gerência – Revisão bibliográfica, estudo de middlewares – Questionário com gerentes de grade no LSD – Escolha do conjunto de consultas OLAP – Revisão bibliográfica – Escolha da ferramenta Implementação e implantação da solução Documentação

11 Resultados Gerência – Conceito: monitorar e controlar os componentes da grade para garantir um certo nível de QoS. – Middlewares de grade devem fornecer ferramentas para prover informações gerenciais: gLite Condor OurGrid

12 gLite

13

14 Condor

15

16 OurGrid

17

18 Questionário Amostra: Integrantes do LSD que desempenham atividades gerenciais. Objetivo: Extrair suas principais necessidades quanto à informação de gerência.

19 Questionário Quais as atividades relacionadas a gerência de grids que você desempenha? Quais ferramentas você utiliza pra realizar essas atividades? Que tipo de informação histórica (última semana, durante o dia) seria útil para suas atividades de gerência?

20 Resultados A pesquisa sobre os middlewares e o questionário revelaram que: – A principal informação buscada é disponibilidade dos componentes. – Seguida de relatório de falhas e tempo de execução de tarefas.

21 Resultados Consultas a implementar: – Média da quantidade de Peers online. – Média da quantidade de Workers em cada estado, ao longo do tempo e por site. – Razão da disponibilidade média por site. – Quantidade de jobs submetidos, com sucesso e com falha. – Tempo médio de execução de tarefa.

22 Resultados OLAP – Online Analytical Processing. – Trabalha com dados em massa. – Operações são geralmente read-only. – Deve responder rápido o suficiente para permitir uma exploração interativa dos dados.

23 Análise multidimensional Year Growth Product Dollar sales Unit sales Dollar sales Unit sales Dollar sales Unit sales Total$7,0732,693$7,6363,0088%12% — Books$2,753824$3, %17% —— Fiction$1,341424$1, % —— Non-fiction$1,412400$2, %47% — Magazines$2,753824$2, %-7% — Greetings cards$1,5671,045$1,8791,27620%22%

24 Análise multidimensional Dimensões (Dimensions) – Formam as colunas e linhas – Ex.: Year e Product – Hierarquia de dimensões (Ex.: Books, Magazines) Medidas (Measures) – Formam os valores – Ex.: Dollar sales e Unit sales

25 Agregações Para consultas complexas, cubos OLAP conseguem responder em 0,1% do tempo da mesma consulta em OLTP. O mais importante mecanismo em OLAP é a agregação.

26 Agregações Agregações são construídas a partir das tabelas de fatos: – As granularidades de dimensões específicas são alteradas. – Os valores são agregados sobre essas dimensões. A combinação de todas as possíveis agregações contém as respostas pra qualquer consulta, diretamente dos dados.

27 Agregações Assim, um número muito grande de agregações deve ser computado, o que é computacionalmente inviável. Normalmente uma parte das agregações são pré-calculadas, outras são calculadas por demanda. O problema de decidir quais agregações pré- calcular é conhecido como view-selection.

28 View-selection O objetivo do view-selection é minimizar o tempo médio de resposta das consultas. View-selection é NP-completo. Abordagens já exploradas: – Algoritmos gulosos – Busca aleatória (Randomized search) – Algoritmos genéticos – Busca A*

29 Ferramentas Comerciais – Microsoft Analysis Services – Oracle Essbase – IBM Cognos TM1 Open-Source – Mondrian OLAP Server – Jedox Palo

30 Implementação As tabelas do esquema original não se encaixavam com a definição de tabelas de fatos. Foi necessário o desenvolvimento de pré- processadores.

31 Implementação Decisão: menor grão de tempo apresentado deve ser a hora. – Assim os pré-processadores acumulam valores de uma em uma hora. – O número de registros da tabela pré-processada chega a ser 90% menor que o da tabela original. – Granularidade continua sendo a mesma usada no Statistics.

32 Implantação Mondrian roda dentro de um container WEB Apache Tomcat. Funciona como servidor OLAP para consultas MDX. Fornece um framework de exibição de tabelas pivô, tabelas específicas para operações OLAP.

33 Implantação Arquivos XML descrevem os esquemas dos cubos.

34 Implantação Páginas JSP criam as consultas em MDX e desenham o pivô.

35 Implantação

36 olap.ourgrid.org – Servidor OLAP rodando com dados reais e atuais da comunidade OurGrid. – Tem implementadas, inicialmente, as consultas elaboradas durante o Estágio.

37 Considerações Finais Diferença de desempenho considerável com o uso de técnicas de OLAP. É necessário fazer testes de usabilidade junto à ferramenta. – Avaliar quanto a ferramenta ajuda de fato nas atividades gerenciais.

38 Considerações Finais Trabalhos futuros – Expandir o conjunto de consultas trabalhado nesse Estágio. – Adaptar ferramentas existentes para o uso com o servidor OLAP, como o Statistics.

39 Lições aprendidas Foi possível por em prática alguns tópicos importantes do curso: – Banco de dados – Sistemas distribuídos É importante seguir um cronograma e fazer uma documentação contínua das atividades.

40 Obrigado!


Carregar ppt "Aplicando técnicas de OLAP para gerência de grades OurGrid Abmar Grangeiro Barros Estágio Integrado."

Apresentações semelhantes


Anúncios Google