Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto.

Apresentação em tema: "Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto."— Transcrição da apresentação:

1 Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros
>>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto e condicionantes relevantes do cliente. .: 1 :.

2 Apresentações Hugo Matos Rafael Augusto hugo.azevedo.matos@novabase.pt
Consultor da Novabase há 4 anos, especializado na área de Business Intelligence Background: Desenho e implementação de projectos de Business Intelligence: Banco de Portugal, EPAL, Sonae Sierra, BES. Rafael Augusto Consultor da Novabase há 4 anos, especializado na área de Business Intelligence Background: Desenho e implementação de projectos de Business Intelligence: ACSS, Bristol Meyers Squibb, Barclays, CP, Banco de Portugal >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto e condicionantes relevantes do cliente. .: 2 :.

3 Agenda Caso de Estudo: Data Warehouse Estatístico
Enquadramento Arquitectura do Negócio Arquitectura Funcional Desafios Técnicos Caso de Estudo: Problemas de performance no SSAS Situação Inicial Problema detectado Recomendações (em conjunto com a Microsoft) >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto e condicionantes relevantes do cliente. .: 3 :.

4 DW Estatístico – Enquadramento
Missão do Departamento de Estatística Elaboração das estatísticas monetárias, financeiras, cambiais e da balança de pagamentos Problema / Necessidades Evolução do contexto e das necessidades do negócio Obsolescência ou precariedade das soluções aplicativas existentes Necessidade de integração da informação das várias áreas Dificuldade em fornecer informação a outros departamentos Abordagem Sistema de Informação Estatística - Arquitectura de Business Intelligence: Data warehouse que garanta a centralização da informação Sistema central de gestão de dados de referência Plataforma tecnológica comum 1. Missão do DDE 2.1. De raiz não existia uma visão comum de negócio para as diferentes áreas estatísticas! .: 4 :.

5 DW Estatístico – Arquitectura do Negócio
Cadeia de Valor da Informação Estatística Aquisição: Extracção de dados, processos de validação, correcção e transformação Produção Controlo de qualidade, análises de evolução temporal, detecção de valores atípicos, estimativa de valores omissos, cálculo de informação derivada Exploração Interpretação dos dados, elaboração dos produtos estatísticos finais, realização de estudos específicos Difusão / Disseminação Selecção e preparação dos conteúdos, divulgação da informação estatística Aquisição: Actividades automatizáveis, envolvendo recursos com perfil técnico-administrativo. Produção: Actividades desempenhadas por técnicos analistas de cada área estatística. Exploração: Maximizar o acesso à informação das várias áreas estatísticas do e outros departamentos. Difusão: consumidores internos ou externos. Difusão Exploração Produção Aquisição .: 5 :.

6 DW Estatístico – Arquitectura Funcional de BI
Componentes Funcionais do Sistema Data Integration Data Quality Data Entry BI Portal Dashboards Time Series Analytic Views Reports Managed Reporting Ad Hoc Reporting Multidimensional Database >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto e condicionantes relevantes do cliente. Relational Database Reference Data Management / Metadata Management .: 6 :.

7 DW Estatístico – Desafios Técnicos
Problema Exploração analítica do sistema de responsabilidades de crédito 4 modelos analíticos: 6 métricas * 25 dimensões Volume de informação: 30 milhões de linhas / mês Histórico de informação: 24 meses linhas  MB Desafios Como gerir elevado volume de informação? Como garantir a performance dos processos de integração e da exploração analítica? Metricas: valor e numero dos saldos, prestações, garantias, Dimensões: tempo, tipo de devedor, tipo de credito, situação credito… .: 7 :.

8 DW Estatístico – Desafios Técnicos
Abordagem Modelo relacional Particionamento mensal das tabelas Filegroups distintos para cada partição Rotação de partições (sliding window scenario) Criação de índices (análise do plano das queries) Actualização das estatísticas Processos ETL Integração incremental diária Modelos analíticos Particionamento mensal de measure groups Desenho de agregações Processamento diário dos últimos 3 meses Processamento semanal de todos os dados >>Conteúdo: Descrição do nosso entendimento de quais são o enquadramento de projecto e condicionantes relevantes do cliente. .: 8 :.

9 Agenda Caso de Estudo: Data Warehouse Estatístico
Enquadramento Arquitectura do Negócio Arquitectura Funcional Desafios Técnicos Caso de Estudo: Problemas de performance no SSAS Situação Inicial Problema detectado Recomendações (em conjunto com a Microsoft) .: 9 :.

10 Performance SSAS – Enquadramento
Disponibilização de Cubos Interna ProClarity Desktop Professional BD Internas Externa BD Externas Disponibilização de Quadros pré-definidos ProClarity Analytics Server ... Pesquisas e Relatórios Ad-hoc Fontes ETL Plataforma Business Intelligence Exploração Utiliz. .: 10 :.

11 Performance SSAS – Situação Inicial
Nome Tipo Nº Registos Propriedades CustomRollUp UnaryOperator Dimensão 1 PC 7 Não tem Limita os membros a considerar na agregação para o nível All Dimensão 2 19 Non Aggregatable Dimensão 3 47 No Script do Cubo Dimensão 4 53 Período Regular 504 Non Aggregatable no nível Ano O total do ano é o do último trimestre e o total do trimestre é o do último mês desse trimestre Tipo de Info 8 Legenda: PC: dimensão do tipo Parent-Child ( ) Regular: dimensão do tipo regular ( ) Non Aggregatable: dimensão não tem membro All, ou seja, não agrega para um membro totalizador. ( ) .: 11 :.

12 Performance SSAS – Problema detectado
Problema de performance em Run-time ao executar queries. Foi aberto um caso de suporte com a Microsoft Posteriormente, optou-se por migrar a solução para SQL2008 Tempos de Resposta AS2000 AS2005 AS2008 Query #1 2:45 5:17 0:02 Query #2 0:10 8:00 0:12 Query #3 0:16 2:40 Query #4 0:50 12:00 .: 12 :.

13 Performance SSAS – Problema detectado
Da Análise mais aprofundada ao problema (SQL Profiler) obtiveram-se algumas observações: O motor analítico do SSAS2000 é superior ao SSAS2008 em algumas queries. Grande parte do tempo em Serialize Cells CalculationPassValue e NonemptyCrossJoin com impacto significativo O produto cartesiano das dimensões devolve um número elevado de células vazias. Queries com exigências de computação elevadas em run-time. Serialize Cells – evento responsável pelo cálculo ao nível das folhas e pela devolução ao cliente CalculationPassValue – Negativo NonemptyCrossJoin – Positivo .: 13 :.

14 Performance SSAS – Agregações
Comportamento por Defeito Dimensão 3 Dimensão 4 O valor de um membro é igual à soma dos seus filhos. Valor imputado ao membro caso este exista, senão é o valor da soma dos filhos Caso haja valor nos filhos o pai toma o valor da soma dos filhos, senão é o valor inputado no pai 4 10 2 Parent 4 2 Parent 4 6 2 Parent Na Dimensão 4 o comportamento não é igual ao default Uma das principais causas do problema é o conflito entre duas dimensões Childs Childs Childs .: 14 :.

15 Performance SSAS – Mais detalhes
Análise individual dos componentes para verificar o que realmente tem impacto na performance: Query #1 Query #2 Query #3 Query #4 AS2000 2:45 0:10 0:16 0:50 AS2005 Inicial 5:17 8:00 AS2008 S/ Calculation PassValue 0:47 1:47 2:47 3:47 C/ NonEmpty CrossJoin 1:09 0:58 1:58 0:00 0:01 0:46 2:26 S/ Script S/ CustomRollUp S/ UnaryOperator 0:03 0:22 4:20 Final 0:02 0:12 2:40 12:00 .: 15 :.

16 Performance SSAS – Solução
Transformar as dimensões Pai-filho – (Common Table Expressions) Criação de relacções entre atributos Optimizações no script do cubo Construção de agregações Desenvolvimento de um mecanismo de cache warmUp .: 16 :.

17 Performance SSAS – Recomendações
A partir da versão 2005 do AS o motor passou a operar em bloc computation em vez de cell-by-cell. Em casos complexos como este é aconselhavel passar parte da lógica para o ETL. Evitar dimensões Pai-filho, apesar de serem muito úteis. Dar prioridade ao NonEmptyCrossJoin em vez  do uso do normal produto cartesiano ( * ). Quanto ao Script do Cubo: Utilizar ao máximo funções como SCOPE e NON_EMPTY_BEHAVIOUR. Evitar o acesso às member properties usando a função Properties(“Nome Propriedade”). Deve ser usada sempre que possível a função Filter() de forma a filtrar membros desnecessários em conjuntos que sejam alvo de operações ( CrossJoins, Unions, etc…); Outras recomendações em OLAP Design Best Practices for Analysis Services 2005 .: 17 :.

18 Performance SSAS – Referências
Performance Improvements for MDX in SQL Server 2008 Analysis Services( Analysis Services Query Performance Top 10 Best Practices( us/library/cc aspx) Dimensão do tipo Parent-Child( Dimensão do tipo regular( Dimensão que não agrega para um membro totalizador( us/library/ms aspx) OLAP Design Best Practices for Analysis Services 2005( us/library/cc aspx) SQL Server Best Practices Article: Identifying and Resolving MDX Query Performance Bottlenecks in SQL Server 2005 Analysis Services( 06ac86e24c13) Commom Table Expressions( Criação de relações entre atributos( Ragged Dimensions( .: 18 :.

19 Questões