A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

.: 1 :. Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros.

Apresentações semelhantes


Apresentação em tema: ".: 1 :. Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros."— Transcrição da apresentação:

1 .: 1 :. Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros

2 .: 2 :. Apresentações Hugo Matos Consultor da Novabase há 4 anos, especializado na área de Business Intelligence Background: Desenho e implementação de projectos de Business Intelligence: Banco de Portugal, EPAL, Sonae Sierra, BES. Rafael Augusto Consultor da Novabase há 4 anos, especializado na área de Business Intelligence Background: Desenho e implementação de projectos de Business Intelligence: ACSS, Bristol Meyers Squibb, Barclays, CP, Banco de Portugal

3 1.Caso de Estudo: Data Warehouse Estatístico ●Enquadramento ●Arquitectura do Negócio ●Arquitectura Funcional ●Desafios Técnicos 2.Caso de Estudo: Problemas de performance no SSAS ●Enquadramento ●Situação Inicial ●Problema detectado ●Recomendações (em conjunto com a Microsoft).: 3 :. Agenda

4 .: 4 :. Missão do Departamento de Estatística Elaboração das estatísticas monetárias, financeiras, cambiais e da balança de pagamentos Problema / Necessidades Evolução do contexto e das necessidades do negócio Obsolescência ou precariedade das soluções aplicativas existentes Necessidade de integração da informação das várias áreas Dificuldade em fornecer informação a outros departamentos Abordagem Sistema de Informação Estatística - Arquitectura de Business Intelligence: Data warehouse que garanta a centralização da informação Sistema central de gestão de dados de referência Plataforma tecnológica comum DW Estatístico – Enquadramento

5 .: 5 :. Cadeia de Valor da Informação Estatística Aquisição: Extracção de dados, processos de validação, correcção e transformação Produção Controlo de qualidade, análises de evolução temporal, detecção de valores atípicos, estimativa de valores omissos, cálculo de informação derivada Exploração Interpretação dos dados, elaboração dos produtos estatísticos finais, realização de estudos específicos Difusão / Disseminação Selecção e preparação dos conteúdos, divulgação da informação estatística DW Estatístico – Arquitectura do Negócio DifusãoExploraçãoProduçãoAquisição

6 .: 6 :. Componentes Funcionais do Sistema DW Estatístico – Arquitectura Funcional de BI Relational Database Reference Data Management / Metadata Management Data Integration Data Quality Data Entry Multidimensional Database Managed Reporting Ad Hoc Reporting BI Portal Dashboards Time Series Analytic Views Reports

7 .: 7 :. Problema Exploração analítica do sistema de responsabilidades de crédito 4 modelos analíticos: 6 métricas * 25 dimensões Volume de informação: 30 milhões de linhas / mês Histórico de informação: 24 meses linhas  MB Desafios Como gerir elevado volume de informação? Como garantir a performance dos processos de integração e da exploração analítica? DW Estatístico – Desafios Técnicos

8 .: 8 :. Abordagem Modelo relacional Particionamento mensal das tabelas Filegroups distintos para cada partição Rotação de partições (sliding window scenario) Criação de índices (análise do plano das queries) Actualização das estatísticas Processos ETL Integração incremental diária Modelos analíticos Particionamento mensal de measure groups Desenho de agregações Processamento diário dos últimos 3 meses Processamento semanal de todos os dados DW Estatístico – Desafios Técnicos

9 .: 9 :. Agenda 1.Caso de Estudo: Data Warehouse Estatístico ●Enquadramento ●Arquitectura do Negócio ●Arquitectura Funcional ●Desafios Técnicos 2.Caso de Estudo: Problemas de performance no SSAS ●Enquadramento ●Situação Inicial ●Problema detectado ●Recomendações (em conjunto com a Microsoft)

10 Performance SSAS – Enquadramento FontesETL Plataforma Business Intelligence Exploração Pesquisas e Relatórios Ad-hoc Pesquisas e Relatórios Ad-hoc Disponibilização de Quadros pré-definidos Utiliz. BD Internas BD Externas Disponibilização de Cubos ProClarity Analytics Server Interna Externa ProClarity Desktop Professional....: 10 :.

11 Performance SSAS – Situação Inicial NomeTipoNº RegistosPropriedadesCustomRollUpUnaryOperator Dimensão 1PC7Não tem Limita os membros a considerar na agregação para o nível All Dimensão 2PC19Non AggregatableNão tem Dimensão 3PC47Non AggregatableNo Script do CuboNão tem Dimensão 4PC53Non AggregatableNo Script do CuboNão tem PeríodoRegular504 Non Aggregatable no nível Ano O total do ano é o do último trimestre e o total do trimestre é o do último mês desse trimestre Não tem Tipo de InfoRegular8Non AggregatableNão tem Legenda: PC: dimensão do tipo Parent-Child (http://technet.microsoft.com/en-us/library/ms aspx )http://technet.microsoft.com/en-us/library/ms aspx Regular: dimensão do tipo regular (http://msdn.microsoft.com/en-us/library/ms aspx )http://msdn.microsoft.com/en-us/library/ms aspx Non Aggregatable: dimensão não tem membro All, ou seja, não agrega para um membro totalizador. (http://msdn.microsoft.com/en-us/library/ms aspx )http://msdn.microsoft.com/en-us/library/ms aspx.: 11 :.

12 Problema de performance em Run-time ao executar queries. Foi aberto um caso de suporte com a Microsoft Posteriormente, optou-se por migrar a solução para SQL2008 Performance SSAS – Problema detectado Tempos de Resposta AS2000AS2005AS2008 Query #12:455:170:02 Query #20:108:000:12 Query #30:162:40 Query #40:5012:00.: 12 :.

13 Da Análise mais aprofundada ao problema (SQL Profiler) obtiveram-se algumas observações: 1.O motor analítico do SSAS2000 é superior ao SSAS2008 em algumas queries. 2.Grande parte do tempo em Serialize Cells 3.CalculationPassValue e NonemptyCrossJoin com impacto significativo 4.O produto cartesiano das dimensões devolve um número elevado de células vazias. Performance SSAS – Problema detectado.: 13 :.

14 Comportamento por Defeito Dimensão 3Dimensão 4 O valor de um membro é igual à soma dos seus filhos. Valor imputado ao membro caso este exista, senão é o valor da soma dos filhos Caso haja valor nos filhos o pai toma o valor da soma dos filhos, senão é o valor inputado no pai Performance SSAS – Agregações Parent Childs : 14 :. Parent Childs

15 Análise individual dos componentes para verificar o que realmente tem impacto na performance: Performance SSAS – Mais detalhes Query #1Query #2Query #3Query #4 AS20002:450:100:160:50 AS2005Inicial5:178:00 AS2008 S/ Calculation PassValue0:471:472:473:47 C/ NonEmpty CrossJoin1:090:581:58 S/ Calculation PassValue C/ NonEmpty CrossJoin 0:000:010:462:26 S/ Script S/ CustomRollUp S/ UnaryOperator 0:000:030:224:20 Final0:020:122:4012:00.: 15 :.

16 1.Transformar as dimensões Pai-filho – (Common Table Expressions) 2.Criação de relacções entre atributos 3.Optimizações no script do cubo 4.Construção de agregações 5.Desenvolvimento de um mecanismo de cache warmUp Performance SSAS – Solução.: 16 :.

17 A partir da versão 2005 do AS o motor passou a operar em bloc computation em vez de cell-by-cell. Em casos complexos como este é aconselhavel passar parte da lógica para o ETL. Evitar dimensões Pai-filho, apesar de serem muito úteis. Dar prioridade ao NonEmptyCrossJoin em vez do uso do normal produto cartesiano ( * ). Quanto ao Script do Cubo: 1.Utilizar ao máximo funções como SCOPE e NON_EMPTY_BEHAVIOUR. 2.Evitar o acesso às member properties usando a função Properties(“Nome Propriedade”). 3.Deve ser usada sempre que possível a função Filter() de forma a filtrar membros desnecessários em conjuntos que sejam alvo de operações ( CrossJoins, Unions, etc…); Outras recomendações em OLAP Design Best Practices for Analysis Services 2005 Performance SSAS – Recomendações.: 17 :.

18 Performance Improvements for MDX in SQL Server 2008 Analysis Services (http://msdn.microsoft.com/en-us/library/bb aspx)http://msdn.microsoft.com/en-us/library/bb aspx Analysis Services Query Performance Top 10 Best Practices (http://technet.microsoft.com/en- us/library/cc aspx)http://technet.microsoft.com/en- us/library/cc aspx Dimensão do tipo Parent-Child (http://technet.microsoft.com/en-us/library/ms aspx)http://technet.microsoft.com/en-us/library/ms aspx Dimensão do tipo regular (http://msdn.microsoft.com/en-us/library/ms aspx)http://msdn.microsoft.com/en-us/library/ms aspx Dimensão que não agrega para um membro totalizador (http://msdn.microsoft.com/en- us/library/ms aspx)http://msdn.microsoft.com/en- us/library/ms aspx OLAP Design Best Practices for Analysis Services 2005 (http://technet.microsoft.com/en- us/library/cc aspx)http://technet.microsoft.com/en- us/library/cc aspx SQL Server Best Practices Article: Identifying and Resolving MDX Query Performance Bottlenecks in SQL Server 2005 Analysis Services (http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=975c5bb b4e-be7c- 06ac86e24c13)http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=975c5bb b4e-be7c- 06ac86e24c13 Commom Table Expressions (http://msdn.microsoft.com/en-us/library/ms aspx)http://msdn.microsoft.com/en-us/library/ms aspx Criação de relações entre atributos (http://msdn.microsoft.com/en-us/library/ms aspx Ragged Dimensions (http://msdn.microsoft.com/en-us/library/aa198080(v=SQL.80).aspx)http://msdn.microsoft.com/en-us/library/aa198080(v=SQL.80).aspx Performance SSAS – Referências.: 18 :.

19 Questões 19


Carregar ppt ".: 1 :. Novabase - Microsoft BI Arquitectura BI na área de Serviços Financeiros."

Apresentações semelhantes


Anúncios Google