BPM & Solução de BI OpenSource Por: Iandé Coutinho (ibbc) recife@gmail.com

Agenda Business Process Modeling Business Process Modeling Notation ETL

Workflow “...automação do processo de negócio, na sua totalidade ou em partes, onde documentos, informações ou tarefas são passadas de um participante para o outro para execução de uma ação, de acordo com um conjunto de regras de procedimentos.” WfMC (Workflow Management Coalition)

Business Process Modelling Definições: “Conjunto de tecnologias e padrões de design, execução, administração e monitoramento de processos de negócio.” “...conjunto de tarefas que envolve pessoas e recursos para que possa se atingir um objetivo previamente traçado.”

Business Process Modelling Desafios: Automação Modelagem Interoperabilidade

Business Process Modeling Tecnologias BPM

BPM Suite Design Execução Monitoramento Linguagem de notação gráfica Flowcharts, workflows e diagramas Editor gráfico Execução Mapeamento de notação gráfica para linguagem de execução Engenho de Execução Monitoramento Dashboards Consultas Ad-Hoc Linguagem de gerenciamento

BPM – Arquitetura Proposta

Ciclo de Desenvolvimento [ ] Gerar modelo BPMN a partir de uma coreografia WS-CDL. Desenvolver diagrama BPMN. Acompanhar processos em execução através de interfaces de administração de monitoramento . Desenvolver interfaces humana e de sistemas (interno ou externo) necessárias. Efetuar Deploy do código BPEL e suas interfaces requeridas para o engenho.

Tecnologias da Arquitetura

Business Process Modeling Notation O que é? Notação gráfica reconhecida para BPM Amplamente utilizada por diversos Vendors Criada pela Business Process Management Initiative (BPMI.org) Em 2005 uni-se com a OMG BPMN torna-se padrão OMG Versão atual 1.1 Versão 2.0 em 2008....

Business Process Modeling Notation Características: Uso de pictogramas para representar elementos de processos Linguagem gráfica tipo fluxograma para desenvolvimento de diagrama de processo de negócio (BPD) A especificação surge como tentativa de alinhar a representação gráfica com BPEL Baseado no metamodelo BPDM e infra-estrutura UML2.

Elementos Básicos do BPMN Eventos Uma ocorrência que dispara (triggers) um processo de negócio. Categorias: Start Intermediate End Tipos Basic Message Timer Exception Cancellation Compensation Link Exception Multiple Termination

Elementos Básicos do BPMN Eventos

Elementos Básicos do BPMN Eventos Tipos Start Intermediate End Basic Placeholder event or the start of a called subprocess. Placeholder Placeholder or end of a subprocess. Message Process is started by receipt of a message (e.g., the invocation of a web service method implemented by the process). Process is waiting for a message (e.g., wait for response from a participant to which this process has sent a request). A message is to be sent to a participant process (e.g., call its web service). Timer The start event defines a schedule for when it triggers (e.g., every Tuesday at midnight). A point in a defined schedule has been reached.   Rule A condition, defined by the process, is met (e.g., process starts when a stock's price hits its 52-week high). A condition is met. Used only for exception handling.

Elementos Básicos do BPMN Eventos Exception   Throw or catch an error. Generate an error. Cancellation Perform cancellation for a given activity. Cancel the transaction. Compensation Trigger and perform compensation handling. Perform compensating action. Link The link start event connects to the link end event of a sibling process. Link to or from another activity. Connect to the link start of a sibling process. Multiple Two or more triggers can start the process; if any one of them occurs, the process starts. These triggers can be message, timer, rule or link types. Two or more triggers can continue a waiting process; if any one of them occurs, the process resumes. When the process ends, several results are required (e.g. several messages need to be sent). Termination Terminate all activities in the process. Perform no exception handling or compensation.

Elementos Básicos do BPMN Atividade Passo de um processo que realiza um trabalho Categorias: Atomic (atômica) Realiza uma única task (tarefa) Compound ou Process (composta ou processo) Conjunto de atividades atômicas ou compostas, eventos, gateways e outros construtores. Processos são hierárquicos, podem possuir subprocessos e estes por sua vez processos, e assim sucessivamente.

Elementos Básicos do BPMN Atividades

Elementos Básicos do BPMN Atividades Uso Descrição Service Calls a web service Receive Waits for a message (an alternative to an event construct) Send Sends a message User, Manual Task is performed by a human participant (e.g., approval) Script Logic encoded in a programming or scripting language (e.g., run a piece of Java code) Reference Uses the definition of another task in the process; shares the definition rather than duplicating it

Elementos Básicos do BPMN Fluxo de Seqüência Fluxo Normal Fluxo Default Fluxo Condicional

Elementos Básicos do BPMN Split e Joins Uso de gateways na modelagem do patrão split-join. Representação de If-then, switch e all. Tipos: Exclusive OR Exclusive OR (event-based) Inclusive OR Complex Parallel

Elementos Básicos do BPMN Gateways

Elementos Básicos do BPMN Exclusive OR (Ou exclusivo) Uso de If-then-else e switch para controe de fluxo exclusivo Modo Split: Verifica condições dos caminhos de saída, seleciona o primeiro válido e ignora os demais Ao menos uma condição tem que ser verdadeira, do contrário especificar o caminho default Modo Join: Libera o primeiro caminho de entrada a chegar nele, ignora os demais

Elementos Básicos do BPMN Exclusive OR (Ou exclusivo) - Cont Exemplo:

Elementos Básicos do BPMN Exclusive OR (event-based) Uso da estrutura de controle pick. Modo Split: Seleciona o caminho do evento que primeiro disparar, ignora os demais Modo Join: Dificilmente usado Exemplo:

Elementos Básicos do BPMN Inclusive OR Uso da estrutura de controle switch com overlapping de casos Modo Split: Semelhante ao OU Exclusivo, mas seleciona TODOS os caminhos de condições verdadeiras Modo Join: Bloqueia passagem do fluxo de entrada até que todos os caminhos esperados completem suas atividades Conhece de antemão todos os caminhos passíveis de completar suas atividades

Elementos Básicos do BPMN Exemplo:

Elementos Básicos do BPMN Complex Uso da estrutura de controle única do BPMN Modo Split: Dificilmente usado Modo Join: Avalia os fluxos de entrada e determina quais deixa passar Exemplo:

Elementos Básicos do BPMN Parallel Uso da estrutura de controle all Modo Split: Aciona todos os fluxos de saída do gateway Modo Join: Bloqueia passagem para o fluxo de saída até que todos os caminhos de entrada completem suas atividades Exemplo:

Tratando Exceções Uso de eventos de exceção

Compensation Atividades são usadas para reverter o efeito causado por outra atividade Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

Compensation Exemplo:

Loops Atributo de atividade (task ou subprocess) Modo Standard: Atividade é repetida até condição do laço ser atingida Modo Standard: While ou Until Modo Multiple Instance (MI): Foreach

Loop Standard Parâmetros Uso em atividades transacionais ou não Condition Expressão que determina a continuação do laço Test time: before, after Quanto testar a condição: antes da execução da atividade (while) ou após (until) maxLoops Limite máximo de iterações Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

Loop Multiple Instance Parâmetros MI Condition Expressão que determina o número de instâncias para executar Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops Ordering (sequential, parallel) Determina se as instâncias serão executadas seqüencial ou pararalelamente. Complex Condition Usada apenas quando Flow Condition for complex Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

Loop Multiple Instance Parâmetros (Cont) Flow Condition (none, one,all, complex) Usado apenas para ordem paralela. None Assim que cada instância da atividade for executada a atividade próxima do processo é executada One Próxima atividade só será executada quando a primeira instância concluir All Próxima atividade só será executada quando todas instâncias concluírem Complex Uso do parâmetro complex condition para determinar quando iniciar execução da próxima atividade.

Loops Exemplo:

Exemplo de um BPD

Ferramenta BPMN ITpearl´s Vision Plugin

Pentaho......

Business Intelligence ...agregado de sistemas, aplicações, tecnologia e práticas para captura, integração, análise e apresentação de informações de negócio. [1]

Pentaho BI Platform “The Pentaho BI Platform is an enterprise-class Business Intelligence (BI) platform that supports Pentaho's end-user reporting, analysis, and dashboard capabilities with back-end security, integration, scheduling, and workflow capabilities.” [2]

Pentaho BI Platform Solução BI comercial open source mais popular do mundo: Fundada em 2004: Pioneira em open source BI profissional Mais de 2 milhões de downloads desde seu lançamento Possui em média uma taxa de download em 100k por mês Amplamente reconhecida como líder em seu segmento

Pentaho BI Platform A plataforma: 100% Open Source (Java) Gestão e distribuição de relatórios, análises e dashboards Fácil integração com data sources, portais, e aplicativos através de padrões abertos Scheduling e autenticação integrada Workflow embarcado para processos inteligentes de BI, e integração com processos de negócios externos

Pentaho BI Platform A plataforma (Cont): Extensibilidade através do uso de APIs, web services, ou modificação de templates, regras de negócio, ou código fonte Logging de auditoria integrado para monitorar atividade de usuário, desempenho, e acesso à conteúdo

Pentaho BI Platform Reporting Analysis Data Integration Dashboards

Integração de Dados Motivação Dados estão por toda parte Dados são inconsistentes Desempenho é fator determinante

Integração de Dados Integração Remover erros e corrigir dados perdidos Fornecer documentação do processo de integração Capturar o fluxo de dados transacionais Ajustar dados de multíplas fontes, pertimindo uma visão única de acesso Estruturar dados para serem consumidos por ferramentas de usuário final Consume cerca de 70% dos recursos de implementação e manutenção de um DW!

ETL ETL ECCD Extrair Transformar Carga (Load) Extract Clean Conform Deliver

Integração de Dados Adquirir ou Construir Custos ETL Proprietário Tempo Custos ETL Proprietário Custom Code Open Source

Pentaho Data Integration A.K.A. Kettle

Kettle Utilização Carga de arquivos de texto para banco de dados Exportar dados de um banco de dados para arquivos texto ou outros BD Migração de dados de aplicações de BD Exploração de dados em BD existentes  (tabelas, views, etc.) Melhora de informação através de lookups Data cleaning Integração de aplicações Data warehouse population

Kettle

KEttle Extração 25+ Tipos de SGBDs MySQL, PostgreSQL, SQLite, ... Oracle, SQL Server, etc Text files XML files XLS files Xbase files (dBase, Foxpro, etc) File systems information Generated data MS Access files LDAP Geo­data ...

KeTtle Transporte Engenho baseado em fluxo de dados Very flexible pathways: splitting partitioning merging joining duplicating clustering (MPP)

KetTle Transformação Tranformação flexível de dados Looking up data Databases Files Calculating Scripting JavaScript, SQL, RegExp Splitting Mapping Selecting Filtering Pivotting 

KettLe Carga (Loading) Carga de dados para formatos de destino distintos Carga para banco de dados Popular Data warehouse Carga Particionada Carga Parallel Clustering

KettlE Ambiente (Environment) Interface GUI (Spoon,Chef) Drag & Drop Debugger Ferramentas Command line Execução de ”jobs” (Kitchen) Execução de  transformações (Pan) Web server clustering Execução remota API de programação para Java

Kettle, na prática!

Kettle, na prática! Spoon

Kettle, na prática! Spoon & Chef Overview

Kettle, na prática! Exemplo de transformação Exemplo de job

Kettle, na prática! Caso de Uso: Populando um Data Mart

Kettle, na prática! Fonte dos dados: Ferramentas Banco de Dados de Exemplo do MS Acess Formato: Access (.mdb) Nome do Banco Northwind Descrição da base A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos. Ferramentas Pentaho Data Integration

Kettle, na prática! Destino dos Dados: Objetivos Data Mart no Postgres 8.2 Nome do Banco NorthwindDW Descrição Base de dados no modelo estrela. O assunto do modelo: Vendas Objetivos Extrair os dados da base Access, aplicar transformações e carregá-las no banco NorthwindDW do Postgres

Kettle, na prática! Diagrama NorthWind Fonte

Diagrama Estrela Vendas Destino Kettle, na prática! Diagrama Estrela Vendas Destino

Conclusão Positivos: Negativos Grátis Comunidade ativa Extensível Open Source 30+ Templates de transformação Baixo TCO Negativos Treinamento oficial caro (USD 5k por 3 dias) Escassez de documentação API para uma linguagem (Java)

Referências www.wikipedia.org www.pentaho.org Kimball, R., Caserta, J. The Data Warehouse Etl Toolkit. Wiley, September, 2004. kettle.pentaho.org Kimball, R., Ross, M. The Data Warehouse Toolkit. Wiley, 2nd, April, 2002. Havey, M. Essential Business Process Modeling O'Reilly, August, 2005 www.bpmi.org www.omg.org