BPM & Solução de BI OpenSource Por: Iandé Coutinho (ibbc)

Apresentação em tema: "BPM & Solução de BI OpenSource Por: Iandé Coutinho (ibbc)"— Transcrição da apresentação:

1

2 BPM & Solução de BI OpenSource Por: Iandé Coutinho (ibbc)

3 Agenda Business Process Modeling Business Process Modeling Notation
ETL

4 Workflow “...automação do processo de negócio, na sua totalidade ou em partes, onde documentos, informações ou tarefas são passadas de um participante para o outro para execução de uma ação, de acordo com um conjunto de regras de procedimentos.” WfMC (Workflow Management Coalition)

5 Business Process Modelling
Definições: “Conjunto de tecnologias e padrões de design, execução, administração e monitoramento de processos de negócio.” “...conjunto de tarefas que envolve pessoas e recursos para que possa se atingir um objetivo previamente traçado.”

6 Business Process Modelling
Desafios: Automação Modelagem Interoperabilidade

7 Business Process Modeling
Tecnologias BPM

8 BPM Suite Design Execução Monitoramento Linguagem de notação gráfica
Flowcharts, workflows e diagramas Editor gráfico Execução Mapeamento de notação gráfica para linguagem de execução Engenho de Execução Monitoramento Dashboards Consultas Ad-Hoc Linguagem de gerenciamento

9 BPM – Arquitetura Proposta

10 Ciclo de Desenvolvimento
[ ] Gerar modelo BPMN a partir de uma coreografia WS-CDL. Desenvolver diagrama BPMN. Acompanhar processos em execução através de interfaces de administração de monitoramento . Desenvolver interfaces humana e de sistemas (interno ou externo) necessárias. Efetuar Deploy do código BPEL e suas interfaces requeridas para o engenho.

11 Tecnologias da Arquitetura

12 Business Process Modeling Notation
O que é? Notação gráfica reconhecida para BPM Amplamente utilizada por diversos Vendors Criada pela Business Process Management Initiative (BPMI.org) Em 2005 uni-se com a OMG BPMN torna-se padrão OMG Versão atual 1.1 Versão 2.0 em

13 Business Process Modeling Notation
Características: Uso de pictogramas para representar elementos de processos Linguagem gráfica tipo fluxograma para desenvolvimento de diagrama de processo de negócio (BPD) A especificação surge como tentativa de alinhar a representação gráfica com BPEL Baseado no metamodelo BPDM e infra-estrutura UML2.

14

15 Elementos Básicos do BPMN
Eventos Uma ocorrência que dispara (triggers) um processo de negócio. Categorias: Start Intermediate End Tipos Basic Message Timer Exception Cancellation Compensation Link Exception Multiple Termination

16 Elementos Básicos do BPMN
Eventos

17 Elementos Básicos do BPMN
Eventos Tipos Start Intermediate End Basic Placeholder event or the start of a called subprocess. Placeholder Placeholder or end of a subprocess. Message Process is started by receipt of a message (e.g., the invocation of a web service method implemented by the process). Process is waiting for a message (e.g., wait for response from a participant to which this process has sent a request). A message is to be sent to a participant process (e.g., call its web service). Timer The start event defines a schedule for when it triggers (e.g., every Tuesday at midnight). A point in a defined schedule has been reached. Rule A condition, defined by the process, is met (e.g., process starts when a stock's price hits its 52-week high). A condition is met. Used only for exception handling.

18 Elementos Básicos do BPMN
Eventos Exception Throw or catch an error. Generate an error. Cancellation Perform cancellation for a given activity. Cancel the transaction. Compensation Trigger and perform compensation handling. Perform compensating action. Link The link start event connects to the link end event of a sibling process. Link to or from another activity. Connect to the link start of a sibling process. Multiple Two or more triggers can start the process; if any one of them occurs, the process starts. These triggers can be message, timer, rule or link types. Two or more triggers can continue a waiting process; if any one of them occurs, the process resumes. When the process ends, several results are required (e.g. several messages need to be sent). Termination Terminate all activities in the process. Perform no exception handling or compensation.

19 Elementos Básicos do BPMN
Atividade Passo de um processo que realiza um trabalho Categorias: Atomic (atômica) Realiza uma única task (tarefa) Compound ou Process (composta ou processo) Conjunto de atividades atômicas ou compostas, eventos, gateways e outros construtores. Processos são hierárquicos, podem possuir subprocessos e estes por sua vez processos, e assim sucessivamente.

20 Elementos Básicos do BPMN
Atividades

21 Elementos Básicos do BPMN
Atividades Uso Descrição Service Calls a web service Receive Waits for a message (an alternative to an event construct) Send Sends a message User, Manual Task is performed by a human participant (e.g., approval) Script Logic encoded in a programming or scripting language (e.g., run a piece of Java code) Reference Uses the definition of another task in the process; shares the definition rather than duplicating it

22 Elementos Básicos do BPMN
Fluxo de Seqüência Fluxo Normal Fluxo Default Fluxo Condicional

23 Elementos Básicos do BPMN
Split e Joins Uso de gateways na modelagem do patrão split-join. Representação de If-then, switch e all. Tipos: Exclusive OR Exclusive OR (event-based) Inclusive OR Complex Parallel

24 Elementos Básicos do BPMN
Gateways

25 Elementos Básicos do BPMN
Exclusive OR (Ou exclusivo) Uso de If-then-else e switch para controe de fluxo exclusivo Modo Split: Verifica condições dos caminhos de saída, seleciona o primeiro válido e ignora os demais Ao menos uma condição tem que ser verdadeira, do contrário especificar o caminho default Modo Join: Libera o primeiro caminho de entrada a chegar nele, ignora os demais

26 Elementos Básicos do BPMN
Exclusive OR (Ou exclusivo) - Cont Exemplo:

27 Elementos Básicos do BPMN
Exclusive OR (event-based) Uso da estrutura de controle pick. Modo Split: Seleciona o caminho do evento que primeiro disparar, ignora os demais Modo Join: Dificilmente usado Exemplo:

28 Elementos Básicos do BPMN
Inclusive OR Uso da estrutura de controle switch com overlapping de casos Modo Split: Semelhante ao OU Exclusivo, mas seleciona TODOS os caminhos de condições verdadeiras Modo Join: Bloqueia passagem do fluxo de entrada até que todos os caminhos esperados completem suas atividades Conhece de antemão todos os caminhos passíveis de completar suas atividades

29 Elementos Básicos do BPMN
Exemplo:

30 Elementos Básicos do BPMN
Complex Uso da estrutura de controle única do BPMN Modo Split: Dificilmente usado Modo Join: Avalia os fluxos de entrada e determina quais deixa passar Exemplo:

31 Elementos Básicos do BPMN
Parallel Uso da estrutura de controle all Modo Split: Aciona todos os fluxos de saída do gateway Modo Join: Bloqueia passagem para o fluxo de saída até que todos os caminhos de entrada completem suas atividades Exemplo:

32 Tratando Exceções Uso de eventos de exceção

33 Compensation Atividades são usadas para reverter o efeito causado por outra atividade Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

34 Compensation Exemplo:

35 Loops Atributo de atividade (task ou subprocess) Modo Standard:
Atividade é repetida até condição do laço ser atingida Modo Standard: While ou Until Modo Multiple Instance (MI): Foreach

36 Loop Standard Parâmetros Uso em atividades transacionais ou não
Condition Expressão que determina a continuação do laço Test time: before, after Quanto testar a condição: antes da execução da atividade (while) ou após (until) maxLoops Limite máximo de iterações Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

37 Loop Multiple Instance
Parâmetros MI Condition Expressão que determina o número de instâncias para executar Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops Ordering (sequential, parallel) Determina se as instâncias serão executadas seqüencial ou pararalelamente. Complex Condition Usada apenas quando Flow Condition for complex Uso em atividades transacionais ou não Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation: Uso de explicito de evento de compensation Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

38 Loop Multiple Instance
Parâmetros (Cont) Flow Condition (none, one,all, complex) Usado apenas para ordem paralela. None Assim que cada instância da atividade for executada a atividade próxima do processo é executada One Próxima atividade só será executada quando a primeira instância concluir All Próxima atividade só será executada quando todas instâncias concluírem Complex Uso do parâmetro complex condition para determinar quando iniciar execução da próxima atividade.

39 Loops Exemplo:

40 Exemplo de um BPD

41 Ferramenta BPMN ITpearl´s Vision Plugin

42 Pentaho......

43 Business Intelligence
...agregado de sistemas, aplicações, tecnologia e práticas para captura, integração, análise e apresentação de informações de negócio. [1]

44 Pentaho BI Platform “The Pentaho BI Platform is an enterprise-class Business Intelligence (BI) platform that supports Pentaho's end-user reporting, analysis, and dashboard capabilities with back-end security, integration, scheduling, and workflow capabilities.” [2]

45 Pentaho BI Platform Solução BI comercial open source mais popular do mundo: Fundada em 2004: Pioneira em open source BI profissional Mais de 2 milhões de downloads desde seu lançamento Possui em média uma taxa de download em 100k por mês Amplamente reconhecida como líder em seu segmento

46 Pentaho BI Platform A plataforma: 100% Open Source (Java)
Gestão e distribuição de relatórios, análises e dashboards Fácil integração com data sources, portais, e aplicativos através de padrões abertos Scheduling e autenticação integrada Workflow embarcado para processos inteligentes de BI, e integração com processos de negócios externos

47 Pentaho BI Platform A plataforma (Cont):
Extensibilidade através do uso de APIs, web services, ou modificação de templates, regras de negócio, ou código fonte Logging de auditoria integrado para monitorar atividade de usuário, desempenho, e acesso à conteúdo

48 Pentaho BI Platform Reporting Analysis Data Integration Dashboards

49 Integração de Dados Motivação Dados estão por toda parte
Dados são inconsistentes Desempenho é fator determinante

50 Integração de Dados Integração Remover erros e corrigir dados perdidos
Fornecer documentação do processo de integração Capturar o fluxo de dados transacionais Ajustar dados de multíplas fontes, pertimindo uma visão única de acesso Estruturar dados para serem consumidos por ferramentas de usuário final Consume cerca de 70% dos recursos de implementação e manutenção de um DW!

51 ETL ETL ECCD Extrair Transformar Carga (Load) Extract Clean Conform
Deliver

52 Integração de Dados Adquirir ou Construir Custos ETL Proprietário
Tempo Custos ETL Proprietário Custom Code Open Source

53 Pentaho Data Integration
A.K.A. Kettle

54 Kettle Utilização Carga de arquivos de texto para banco de dados
Exportar dados de um banco de dados para arquivos texto ou outros BD Migração de dados de aplicações de BD Exploração de dados em BD existentes  (tabelas, views, etc.) Melhora de informação através de lookups Data cleaning Integração de aplicações Data warehouse population

55 Kettle

56 KEttle Extração 25+ Tipos de SGBDs MySQL, PostgreSQL, SQLite, ...
Oracle, SQL Server, etc Text files XML files XLS files Xbase files (dBase, Foxpro, etc) File systems information Generated data MS Access files LDAP Geo­data ...

57 KeTtle Transporte Engenho baseado em fluxo de dados
Very flexible pathways: splitting partitioning merging joining duplicating clustering (MPP)

58 KetTle Transformação Tranformação flexível de dados Looking up data
Databases Files Calculating Scripting JavaScript, SQL, RegExp Splitting Mapping Selecting Filtering Pivotting 

59 KettLe Carga (Loading) Carga de dados para formatos de destino
distintos Carga para banco de dados Popular Data warehouse Carga Particionada Carga Parallel Clustering

60 KettlE Ambiente (Environment) Interface GUI (Spoon,Chef)
Drag & Drop Debugger Ferramentas Command line Execução de ”jobs” (Kitchen) Execução de  transformações (Pan) Web server clustering Execução remota API de programação para Java

61 Kettle, na prática!

62 Kettle, na prática! Spoon

63 Kettle, na prática! Spoon & Chef Overview

64 Kettle, na prática! Exemplo de transformação Exemplo de job

65 Kettle, na prática! Caso de Uso: Populando um Data Mart

66 Kettle, na prática! Fonte dos dados: Ferramentas
Banco de Dados de Exemplo do MS Acess Formato: Access (.mdb) Nome do Banco Northwind Descrição da base A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos. Ferramentas Pentaho Data Integration

67 Kettle, na prática! Destino dos Dados: Objetivos
Data Mart no Postgres 8.2 Nome do Banco NorthwindDW Descrição Base de dados no modelo estrela. O assunto do modelo: Vendas Objetivos Extrair os dados da base Access, aplicar transformações e carregá-las no banco NorthwindDW do Postgres

68 Kettle, na prática! Diagrama NorthWind Fonte

69 Diagrama Estrela Vendas Destino
Kettle, na prática! Diagrama Estrela Vendas Destino

70 Conclusão Positivos: Negativos Grátis Comunidade ativa Extensível
Open Source 30+ Templates de transformação Baixo TCO Negativos Treinamento oficial caro (USD 5k por 3 dias) Escassez de documentação API para uma linguagem (Java)

71 Referências www.wikipedia.org www.pentaho.org
Kimball, R., Caserta, J. The Data Warehouse Etl Toolkit. Wiley, September, 2004. kettle.pentaho.org Kimball, R., Ross, M. The Data Warehouse Toolkit. Wiley, 2nd, April, 2002. Havey, M. Essential Business Process Modeling O'Reilly, August, 2005

72