Uma Metodologia para Definição de Requisitos em Sistemas Data Warehouse Dissertação de Mestrado de Fábio Rilston Silva Paim Orientador Jaelson Brelaz de Castro Universidade Federal de Pernambuco - Centro de Informática

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Introdução Sistemas Data Warehouse são cada vez mais necessários às organizações para garantir: Tomada de Decisão eficiente Competitividade no mercado CONTUDO A grande maioria dos projetos data warehouse fracassa em sua implantação.

Razões para o fracasso … Especificação direcionada para aspectos operacionais. Projetos que não consideram necessidades do cliente. Ausência de uma metodologia padrão. Distância entre usuários e desenvolvedores. Esquema definido pouco escalável. Especificação pobre dos requisitos do Data Warehouse Um processo organizado é essencial para uma definição eficiente de requisitos em Projetos Data Warehouse.

Escopo da Dissertação Definição de uma Metodologia para definição de requisitos em sistemas data warehouse. Processo de Engenharia de Requisitos tradicional ajustado às necessidades do domínio. Modelo em fases (processos, técnicas e artefatos) e de fácil utilização. Análise das influências entre requisitos e projeto arquitetônico. Não se propõe a especificar soluções arquitetônicas.

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Requisitos Requisitos são: uma capacidade do software necessitada pelo usuário para resolver um problema e atingir um objetivo; uma capacidade que um sistema (ou um seu componente) deve atingir ou possuir para satisfazer um contrato, padrão, especificação, ou outra documentação formalmente imposta. (DORFMAN e THAYER, 1990) Um bom entendimento dos requisitos é um passo fundamental no sentido de atender as necessidades do cliente.

Engenharia de Requisitos (ER) Processo sistemático de desenvolvimento dos requisitos por meio de: processo iterativo e cooperativo de análise do problema. documentação das observações resultantes numa variedade de formatos. checagem da acurácia do entendimento obtido. (LOUCOPOULOS e KARAKOSTAS, 1995)

Processo Tradicional de ER Gerência dos Requisitos (KOTONYA e SOMMERVILLE, 1997)

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Data Warehouse Segundo INMON (1996), é “uma coleção de dados Orientada a Assunto: organizado conforme diferentes visões de negócio. Integrada: a partir de fontes de dado heterogêneas. Não Volátil: sempre inserido, nunca excluído. Variante no Tempo: posições históricas das atividades no tempo. ”

Processo de Data Warehousing FONTES PROVEDORAS ÁREA DE TRABALHO DATA WAREHOUSE SUPORTE À DECISÃO Bases de Sistemas ______________________________________________________ Relatórios Dados de Sistemas ERP DATA MARTS INCOME ANNUAL REPORT ___ ___ ____ _____ ___ __ EXTRAÇÃO ADEQUAÇÃO LIMPEZA DERIVAÇÃO AGREGAÇÃO DATA WAREHOUSE SIG Dados Locais OLAP Dados Externos Dados WEB Análise Financeira & Estatística [Adaptado de SunExpert Magazine, Outubro 1998.]

Esquema Estrela Uma tabela-fato rodeada de tabelas-dimensão. Produto Hierarquia IDProduto Descrição Marca Categoria Produto Tabela Fato No. Venda IDCliente IDProduto Emissão Quantidade Vendas IDCliente Nome Categoria Cliente Dia Mês Ano Tempo Métrica Tabela Dimensão Atributo

OLAP (OnLine Analytical Processing) Dado visto de diferentes ângulos e sobre diferentes níveis de agregação. Operações OLAP agem sobre Cubos de Dado. Métrica Célula Roll-up Drill-down Pivot … Dimensão 1 Hierarquia Dimensão 2

Processo de Construção Estratégia “Dividir para Conquistar”. Data Marts blocos de construção. Data Mart 2 Data Mart 1 Data Mart-n Data Warehouse

Agenda Motivação Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Requisitos em Data Warehouse Representar fatos e suas propriedades. Distinguir dimensões adequadamente e conectá-las aos fatos. Garantir Agregabilidade. Correta integração com fontes provedoras. Acompanhamento pontual de mudanças. Documentação de alto nível. Conformidade entre aspectos comuns.

Metodologia (Modelo em Alto Nível) Necessidades do Cliente Domínio de Negócios da Aplicação Necessidades do Data Mart Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Usuário Final Baseline de Requisitos Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos Notação: Rational Unified Process 2001-A

Desenvolvimento orientado a DW Refinar Baseline Necessidades Usuário Release final do Data Mart Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Conformidade Priorizar e Definir Correlações Analisar RNFs DW Documentação Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Domínio do Negócio Especif. Requisitos Data Mart. Definir Escopo Data Mart Núcleo da Metodologia Ciclo de Requisitos em DW Gerência dos Requisitos

Planejamento da Gerência Planejamento da Gerência de Requisitos Diretrizes Gerais Requisitos Iniciais do Data Warehouse Domínio de Negócios da Aplicação Necessidades do Cliente Necessidades do Cliente Domínio de Negócios da Aplicação Necessidades do Data Mart Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Usuário Final Baseline de Requisitos Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

F1. Planejamento da Gerência Propósito Determinar o foco da análise dimensional. Estabelecer premissas de integração com fontes. Regras para identificação de requisitos. Consenso quanto a objetivos do projeto. Estabelecer as políticas e processos de gerência dos requisitos. (outros aspectos gerenciais…)

F1. Planejamento da Gerência Produtos Plano de Gerência de Requisitos. Visões Preliminares Documento Visão do Data Warehouse. Especificação dos Requisitos Multidimensionais. Glossário do Projeto.

Especificação de Requisitos Necessidades do Cliente Domínio de Negócios da Aplicação Necessidades do Data Mart Necessidades do Data Mart Requisitos do Data Warehouse Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Usuário Final Baseline de Requisitos Baseline de Requisitos Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

F2. Especificação de Requisitos Propósito Fornecer uma especificação bem definida dos requisitos, que é acordada e entendida por todos os envolvidos. Subprocessos Elicitação Análise & Negociação Documentação Conformidade de Requisitos

F2. Especificação de Requisitos F2.1 Elicitação de Requisitos Propósito Descoberta de requisitos do Data Warehouse/Data Mart. Entendimento do domínio pela interação com stakeholders. Investigação de Aspectos Multidimensionais (Fatos, Dimensões, Restrições, Correlações, …). Técnicas Entrevistas/Workshops Prototipação Cenários (Template de Casos de Uso em UML) DW-ENF Framework (PAIM e CASTRO, 2002a) ( extensão do Framework NFR (CHUNG et al., 2000) )

F2. Especificação de Requisitos F2.2 Análise & Negociação Propósito Identificação de omissões, overlaps, e inconsistências. Adequação a padrões organizacionais. Resolução de conflitos e aderência dos requisitos ao escopo multidimensional. Técnicas Checklist de Requisitos para Data Warehouse.

F2. Especificação de Requisitos F2.3 Documentação Propósito Produzir uma documentação detalhada e completa dos requisitos elicitados. Meio para garantir acordo comum entre stakeholders. Identificar explicitamente as necessidades de suporte à decisão da aplicação (multidimensionalidade, granularidade, aditividade,…) Técnicas Templates de Artefatos para DW Recursos de Ferramentas de Gerenciamento de Requisitos

F2. Especificação de Requisitos F2.3 Documentação Artefatos Atualizados Plano de Gerenciamento de Requisitos. Glossário do Projeto. Visão do Data Warehouse. Especificação de Requisitos Multidimensionais. Artefatos Gerados Documento de Visão do Data Mart. Especificações de Caso de Uso. Especificação de Regras de Negócio. Especificação de Requisitos Não-Funcionais.

F2. Especificação de Requisitos F2.4 Conformidade de Requisitos Propósito Garantir que os requisitos do Data Mart estão em conformidade com o modelo de requisitos do Data Warehouse Corporativo. Eliminar overlapping, similaridades, redundâncias, ambiguidade. Promover o reuso de requisitos.

F2. Especificação de Requisitos F2.4 Conformidade de Requisitos Benefícios Assegurar a integração da informação ao longo da arquitetura do Data Warehouse. Possibilitar a navegação entre Data Marts. Melhoria da qualidade pelo reuso de requisitos de eficiência consagrada. Melhoria da consistência da interface e do conteúdo dos dados da aplicação. Facilitar a evolução do Data Warehouse.

F2. Especificação de Requisitos F2.4 Conformidade de Requisitos Técnicas Análise dos Documentos de Requisitos Recursos das Ferramentas de Gerenciamento

Validação de Requisitos Necessidades do Cliente Domínio de Negócios da Aplicação Necessidades do Data Mart Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Usuário Final Baseline de Requisitos Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

F3. Validação de Requisitos Propósito Analisar documentos para identificar inconsistências (se ainda restantes). Certificar que os requisitos se ajustam com as necessidades dos stakeholders. Técnicas Revisões Prototipação Produtos Relatório de Revisão (Lista de Ações).

Gerência de Requisitos Necessidades do Cliente Domínio de Negócios da Aplicação Necessidades do Data Mart Requisitos do Data Warehouse Requisitos Iniciais do Data Warehouse Requisitos do Data Warehouse Atualizados Stakeholder Engenheiro de Requisitos Especificação de Requisitos Especificação de Requisitos Diretrizes Gerais Mudanças Acordadas Usuário Final Baseline de Requisitos Planejamento da Gerência de Requisitos Engenheiro de Software Validação de Requisitos Fonte Provedora Líder de Projeto Release Final de Requisitos do Data Mart Controle da Gerência de Requisitos

F4. Gerência de Requisitos Propósito Acompanhamento pontual de mudanças em requisitos. Rastreabilidade das mudanças. Análise de Impacto (Requisitos + Projeto). Técnicas Matrizes de Rastreabilidade Ferramentas de Gerenciamento de Requisitos CASEs para Controle de Projeto Extremamente Recomendado

Desenvolvimento orientado a DW Refinar Baseline Necessidades Usuário Release final do Data Mart Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Conformidade Priorizar e Definir Correlações Analisar RNFs DW Documentação Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Domínio do Negócio Especif. Requisitos Data Mart. Definir Escopo Data Mart Núcleo da Metodologia Ciclo de Requisitos em DW Gerência dos Requisitos

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Estudo de Caso Projeto S.A.F.E. Sistema de Análises Fiscais Estratégicas. Experimento de 2 anos. 2 Data Marts implementados, 2 outros em desenvolvimento. 21 equipes distintas. 4.306 requisitos alocados. Missão da Metodologia: Especificar Integração com Fontes Provedoras Mapeamento Multidimensional Controle das Mudanças em Requisitos do Usuário

Data Mart “Visão Ação Fiscal PJ” Visão integrada das ações fiscais sobre o contribuinte pessoa jurídica. Acesso às bases de Declaração, Cadastros, CPMF, dentre outras. Equipe: 6 Engenheiros de Software 1 Especialista em Data Warehouse 1 DBA Projetista 2 Engenheiros de Requisitos 2 iterações, 1 baseline intermediária.

Ciclo de Requisitos em SAFE P1. Planejando a Gerência de Requisitos Refinar Baseline Validação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Elicitação Análise Conformidade Priorizar e Definir Correlações Analisar RNFs DW Documentação Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Planejando a Gerência do DW Workshop com envolvimento entre clientes e time de projeto. Estabelecidas regras para definição e gerência dos requisitos (com respectivos papéis). Benefícios imediatos: Nivelou o entendimento de todos na tecnologia. Evitou concepções errôneas sobre o DW. Identificou limites e restrições do projeto. Ajudou a aumentar a confiança dos clientes. Plano de Gerenciamento como guia para o desenvolvimento.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Definindo o Escopo do DW Workshop e Entrevistas estabeleceram: Papéis e Responsabilidades Cenário e Oportunidade de Negócio Abrangência e Público Alvo Características da Interface Visão Multidimensional Geral (entre outros...) Produtos Gerados Documento de Visão do Data Warehouse. Glossário do Projeto.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Análise dos RNFs em SAFE Entrevistas permitiram discutir: Freqüência de atualizações Volume máximo de dados Quantidade de acessos simultâneos Flexibilidade da interface Restrições legais (entre outros...) Framework DW-ENF como checklist. Produto Especificação de Requisitos Não-Funcionais.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Investigando a Solução Multidimensional Uso de Análise & Negociação. Framework DW-ENF permitiu investigar os seguintes aspectos: Qual o melhor esquema de Indexação a adotar? O paralelismo de dados é vantajoso para SAFE? Normalizar ou Desnormalizar as tabelas? Como atender à necessidade de consulta entre tabelas-fato? Custo X Benefício entre “Atualidade dos dados” e “Frequência de carga”?

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Definição do Escopo “Visão PJ” Workshop discutiu o propósito do Data Mart e identificou: Público Alvo Papéis envolvidos Necessidades Funcionalidades Prioridades e Relevância Produtos Gerados Documento de Visão do Data Mart. Repositório de Requisitos.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Definindo Requisitos Multidimensionais Necessidades Data Mart Funcionalidades Fatos Dimensões Conformidade Métricas Atributos Aditividade Cardinalidade Artefato: Especificação de Requisitos Multidimensionais.

Definindo Requisitos Funcionais Necessidades Data Mart Integração com Fontes Provedoras Genéricas Por Assunto Conformidade Funcionalidades referenciam Casos de Uso Regras de Negócio Protótipo de Interface Requisitos Multidim. aloca Passos Principais Fluxos Alternativos Artefatos: Especificações de Caso de Uso. Especificações de Regras de Negócio.

Definindo Requisitos Não-Funcionais Nenhum requisito não-funcional novo identificado. Mantidos os RNFs gerais do Data Warehouse.

Analisando Modelo de Requisitos Checklist para DW foi utilizado para checar a consistência da especificação de requisitos. Conclusão: Necessidade de detalhamento maior do domínio de atributos.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Controle da Gerência de Requisitos Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Priorizando e Gerenciando Requisitos Requisitos foram classificados e priorizados na ferramenta RequisitePro. O modelo de requisitos do DW foi revisado e atualizado. Correlações entre requisitos foram estabelecidas para subsidiar análise de impactos. Matrizes de Rastreabilidade utilizaram as correlações para relatar os impactos de mudanças. Filtros foram usados para restringir as consultas aos requisitos afetados.

Desenvolvimento do SAFE P2. Definindo o Escopo do DW Refinar Baseline Validação Elicitação Análise Conformidade Documentação Atualizar Modelo DW Planejamento da Gerência de Requisitos Definir Escopo DW Priorizar e Definir Correlações Analisar RNFs DW Definir Regras Negócio Definir Solução Multidim. Global Especif. Requisitos Data Mart. Definir Escopo Data Mart

Validando e Refinando a Baseline Após cada ciclo, uma etapa de Validação. Sessões de Revisão e Prototipação validaram o modelo de requisitos quanto a sua aderência às necessidades do cliente, em ambas as visões Conceitual e de Projeto. Observadores externos permitiram identificar requisitos ainda ausentes/incorretos. Ações corretivas foram estabelecidas para refinar a Baseline.

Benefícios para Projeto e Cliente Atendimento das metas críticas para requisitos. Especificar Integração com Fontes Provedoras Mapeamento Multidimensional Controle das Mudanças em Requisitos do Usuário Redução da distância entre cliente e desenvolvedores. Redução significativa no número de apurações especiais para geração de relatórios estratégicos. Agilidade na programação de ações fiscais. Visão integrada da fiscalização para todo o nível gerencial do cliente.

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Contribuições do Trabalho Modelo de fases genérico para aplicação de técnicas de engenharia de requisitos ao desenvolvimento de sistemas data warehouse. Templates de artefatos especificamente adaptados para data warehouse. Template em UML para modelagem de casos de uso em data warehouse. Tratamento da conformidade de requisitos em data warehouse.

Contribuições do Trabalho Lista de Verificação (checklist) específica para data warehouse. Aplicação do framework NFR de CHUNG et al. (2000) para data warehouse (DW-ENF).

Agenda Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Trabalhos Futuros Adequação da Metodologia para projetos de manutenção. Incorporação de artefatos e procedimentos para definição de requisitos de metadados. Investigação de abordagens de rastreabilidade mais sofisticadas como descrito em (TORANZO, 2002). etc

Publicações PAIM, F. R., CARVALHO, A. E. e CASTRO, J. B., 2002. “Towards a Methodology for Requirements Analysis of Data Warehouse Systems". XVI Simpósio Brasileiro de Engenharia de Software (SBES'2002), Gramado, Rio Grande do Sul. Best paper entre 104 submissões. PAIM, F. R. e CASTRO, J. B., 2002a. “Enhancing Data Warehouse Design with the NFR Framework”. 5th Workshop on Requirements Engineering (WER2002), Valência, Espanha (Nov).