A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  1.

Apresentações semelhantes


Apresentação em tema: "CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  1."— Transcrição da apresentação:

1 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  1

2 2 BPM & Solução de BI OpenSource Por: Iandé Coutinho (ibbc)

3 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  3 Agenda Business Process Modeling Business Process Modeling Notation ETL

4 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  4 Workflow “...automação do processo de negócio, na sua totalidade ou em partes, onde documentos, informações ou tarefas são passadas de um participante para o outro para execução de uma ação, de acordo com um conjunto de regras de procedimentos.” WfMC (Workflow Management Coalition)

5 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  5 Business Process Modelling Definições: “Conjunto de tecnologias e padrões de design, execução, administração e monitoramento de processos de negócio.” “...conjunto de tarefas que envolve pessoas e recursos para que possa se atingir um objetivo previamente traçado.”

6 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  6 Business Process Modelling Desafios:  Automação  Modelagem  Interoperabilidade

7 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  7 Business Process Modeling Tecnologias BPM

8 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  8 BPM Suite Design  Linguagem de notação gráfica  Flowcharts, workflows e diagramas  Editor gráfico Execução  Mapeamento de notação gráfica para linguagem de execução  Engenho de Execução Monitoramento  Dashboards  Consultas Ad-Hoc  Linguagem de gerenciamento

9 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  9 BPM – Arquitetura Proposta

10 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  10 Ciclo de Desenvolvimento Acompanhar processos em execução através de interfaces de administração de monitoramento. Gerar modelo BPMN a partir de uma coreografia WS-CDL. Efetuar Deploy do código BPEL e suas interfaces requeridas para o engenho. Desenvolver diagrama BPMN. Desenvolver interfaces humana e de sistemas (interno ou externo) necessárias. [ ]

11 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  11 Tecnologias da Arquitetura

12 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  12 Business Process Modeling Notation O que é?  Notação gráfica reconhecida para BPM Amplamente utilizada por diversos Vendors  Criada pela Business Process Management Initiative (BPMI.org)  Em 2005 uni-se com a OMG BPMN torna-se padrão OMG  Versão atual 1.1  Versão 2.0 em

13 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  13 Business Process Modeling Notation Características:  Uso de pictogramas para representar elementos de processos  Linguagem gráfica tipo fluxograma para desenvolvimento de diagrama de processo de negócio (BPD)  A especificação surge como tentativa de alinhar a representação gráfica com BPEL  Baseado no metamodelo BPDM e infra-estrutura UML2.

14 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  14

15 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  15 Elementos Básicos do BPMN Eventos  Uma ocorrência que dispara (triggers) um processo de negócio.  Categorias: Start Intermediate End  Tipos Basic Message Timer Exception Cancellation Compensation Link Exception Multiple Termination

16 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  16 Elementos Básicos do BPMN Eventos

17 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  17 Elementos Básicos do BPMN TiposStartIntermediateEnd BasicPlaceholder event or the start of a called subprocess. PlaceholderPlaceholder or end of a subprocess. MessageProcess is started by receipt of a message (e.g., the invocation of a web service method implemented by the process). Process is waiting for a message (e.g., wait for response from a participant to which this process has sent a request). A message is to be sent to a participant process (e.g., call its web service). TimerThe start event defines a schedule for when it triggers (e.g., every Tuesday at midnight). A point in a defined schedule has been reached. RuleA condition, defined by the process, is met (e.g., process starts when a stock's price hits its 52- week high). A condition is met. Used only for exception handling. Eventos

18 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  18 Elementos Básicos do BPMN Exception Throw or catch an error.Generate an error. Cancellation Perform cancellation for a given activity. Cancel the transaction. Compensation Trigger and perform compensation handling. Perform compensating action. LinkThe link start event connects to the link end event of a sibling process. Link to or from another activity. Connect to the link start of a sibling process. MultipleTwo or more triggers can start the process; if any one of them occurs, the process starts. These triggers can be message, timer, rule or link types. Two or more triggers can continue a waiting process; if any one of them occurs, the process resumes. When the process ends, several results are required (e.g. several messages need to be sent). Termination Terminate all activities in the process. Perform no exception handling or compensation. Eventos

19 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  19 Elementos Básicos do BPMN Atividade  Passo de um processo que realiza um trabalho  Categorias: Atomic (atômica)  Realiza uma única task (tarefa) Compound ou Process (composta ou processo)  Conjunto de atividades atômicas ou compostas, eventos, gateways e outros construtores.  Processos são hierárquicos, podem possuir subprocessos e estes por sua vez processos, e assim sucessivamente.

20 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  20 Elementos Básicos do BPMN Atividades

21 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  21 Elementos Básicos do BPMN UsoDescrição ServiceCalls a web service ReceiveWaits for a message (an alternative to an event construct) SendSends a message User, ManualTask is performed by a human participant (e.g., approval) ScriptLogic encoded in a programming or scripting language (e.g., run a piece of Java code) ReferenceUses the definition of another task in the process; shares the definition rather than duplicating it Atividades

22 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  22 Elementos Básicos do BPMN Fluxo de Seqüência  Fluxo Normal  Fluxo Default  Fluxo Condicional

23 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  23 Elementos Básicos do BPMN Split e Joins  Uso de gateways na modelagem do patrão split-join.  Representação de If-then, switch e all.  Tipos: Exclusive OR Exclusive OR (event-based) Inclusive OR Complex Parallel

24 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  24 Elementos Básicos do BPMN Gateways

25 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  25 Elementos Básicos do BPMN Exclusive OR (Ou exclusivo)  Uso de If-then-else e switch para controe de fluxo exclusivo  Modo Split: Verifica condições dos caminhos de saída, seleciona o primeiro válido e ignora os demais Ao menos uma condição tem que ser verdadeira, do contrário especificar o caminho default  Modo Join: Libera o primeiro caminho de entrada a chegar nele, ignora os demais

26 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  26 Elementos Básicos do BPMN Exclusive OR (Ou exclusivo) - Cont  Exemplo:

27 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  27 Elementos Básicos do BPMN Exclusive OR (event-based)  Uso da estrutura de controle pick.  Modo Split: Seleciona o caminho do evento que primeiro disparar, ignora os demais  Modo Join: Dificilmente usado  Exemplo:

28 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  28 Elementos Básicos do BPMN Inclusive OR  Uso da estrutura de controle switch com overlapping de casos  Modo Split: Semelhante ao OU Exclusivo, mas seleciona TODOS os caminhos de condições verdadeiras  Modo Join: Bloqueia passagem do fluxo de entrada até que todos os caminhos esperados completem suas atividades Conhece de antemão todos os caminhos passíveis de completar suas atividades

29 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  29 Elementos Básicos do BPMN  Exemplo:

30 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  30 Complex  Uso da estrutura de controle única do BPMN  Modo Split: Dificilmente usado  Modo Join: Avalia os fluxos de entrada e determina quais deixa passar  Exemplo: Elementos Básicos do BPMN

31 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  31 Elementos Básicos do BPMN Parallel  Uso da estrutura de controle all  Modo Split: Aciona todos os fluxos de saída do gateway  Modo Join: Bloqueia passagem para o fluxo de saída até que todos os caminhos de entrada completem suas atividades  Exemplo:

32 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  32 Tratando Exceções Uso de eventos de exceção

33 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  33 Compensation Atividades são usadas para reverter o efeito causado por outra atividade Uso em atividades transacionais ou não  Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation:  Uso de explicito de evento de compensation  Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

34 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  34 Compensation Exemplo:

35 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  35 Loops Atributo de atividade (task ou subprocess)  Atividade é repetida até condição do laço ser atingida Modo Standard:  While ou Until Modo Multiple Instance (MI):  Foreach

36 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  36 Loop Standard Parâmetros  Condition Expressão que determina a continuação do laço  Test time: before, after Quanto testar a condição: antes da execução da atividade (while) ou após (until)  maxLoops Limite máximo de iterações  Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops Uso em atividades transacionais ou não  Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation:  Uso de explicito de evento de compensation  Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

37 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  37 Loop Multiple Instance Parâmetros  MI Condition Expressão que determina o número de instâncias para executar  Loop counter Usado internamente. Inicia-se com zero, incrementado a cada iteração e comparado com parâmetro maxLoops  Ordering (sequential, parallel) Determina se as instâncias serão executadas seqüencial ou pararalelamente.  Complex Condition Usada apenas quando Flow Condition for complex Uso em atividades transacionais ou não  Quanto transacional não possui o mesmo efeito de rollback! – Atividade já foi comitada!!! Formas de disparar compensation:  Uso de explicito de evento de compensation  Implicita, caso a atividade a ser compensada faz parte de um subprocesso transacional cancelado.

38 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  38 Loop Multiple Instance Parâmetros (Cont)  Flow Condition (none, one,all, complex) Usado apenas para ordem paralela. None  Assim que cada instância da atividade for executada a atividade próxima do processo é executada One  Próxima atividade só será executada quando a primeira instância concluir All  Próxima atividade só será executada quando todas instâncias concluírem Complex  Uso do parâmetro complex condition para determinar quando iniciar execução da próxima atividade.

39 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  39 Loops Exemplo:

40 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  40 Exemplo de um BPD

41 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  41 Ferramenta BPMN ITpearl´s Vision Plugin

42 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  42 Pentaho......

43 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  43 Business Intelligence...agregado de sistemas, aplicações, tecnologia e práticas para captura, integração, análise e apresentação de informações de negócio. [1]

44 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  44 Pentaho BI Platform “The Pentaho BI Platform is an enterprise- class Business Intelligence (BI) platform that supports Pentaho's end-user reporting, analysis, and dashboard capabilities with back-end security, integration, scheduling, and workflow capabilities.” [2]

45 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  45 Pentaho BI Platform Solução BI comercial open source mais popular do mundo:  Fundada em 2004: Pioneira em open source BI profissional  Mais de 2 milhões de downloads desde seu lançamento  Possui em média uma taxa de download em 100k por mês Amplamente reconhecida como líder em seu segmento

46 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  46 Pentaho BI Platform A plataforma:  100% Open Source (Java)  Gestão e distribuição de relatórios, análises e dashboards  Fácil integração com data sources, portais, e aplicativos através de padrões abertos  Scheduling e autenticação integrada  Workflow embarcado para processos inteligentes de BI, e integração com processos de negócios externos

47 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  47 Pentaho BI Platform A plataforma (Cont):  Extensibilidade através do uso de APIs, web services, ou modificação de templates, regras de negócio, ou código fonte  Logging de auditoria integrado para monitorar atividade de usuário, desempenho, e acesso à conteúdo

48 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  48 Pentaho BI Platform Reporting Data IntegrationDashboards Analysis

49 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  49 Motivação  Dados estão por toda parte  Dados são inconsistentes  Desempenho é fator determinante Integração de Dados

50 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  50 Integração de Dados Integração  Remover erros e corrigir dados perdidos  Fornecer documentação do processo de integração  Capturar o fluxo de dados transacionais  Ajustar dados de multíplas fontes, pertimindo uma visão única de acesso  Estruturar dados para serem consumidos por ferramentas de usuário final Consume cerca de 70% dos recursos de implementação e manutenção de um DW!

51 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  51 ETL  Extrair  Transformar  Carga (Load) ECCD  Extract  Clean  Conform  Deliver

52 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  52 Integração de Dados Adquirir ou Construir ETL Proprietário Custom Code Open Source Tempo Custos

53 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  53 Pentaho Data Integration A.K.A. Kettle

54 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  54 Kettle Utilização  Carga de arquivos de texto para banco de dados  Exportar dados de um banco de dados para arquivos texto ou outros BD  Migração de dados de aplicações de BD  Exploração de dados em BD existentes (tabelas, views, etc.)  Melhora de informação através de lookups  Data cleaning  Integração de aplicações  Data warehouse population

55 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  55 Kettle

56 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  56 KEttle Extração  25+ Tipos de SGBDs MySQL, PostgreSQL, SQLite,... Oracle, SQL Server, etc  Text files  XML files  XLS files  Xbase files (dBase, Foxpro, etc)  File systems information  Generated data  MS Access files  LDAP  Geo­data ...

57 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  57 KeTtle Transporte  Engenho baseado em fluxo de dados  Very flexible pathways:  splitting  partitioning  merging  joining  duplicating  clustering (MPP)

58 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  58 KetTle Transformação  Tranformação flexível de dados  Looking up data  Databases  Files  Calculating  Scripting JavaScript, SQL, RegExp  Splitting  Mapping  Selecting  Filtering  Pivotting

59 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  59 KettLe Carga (Loading)  Carga de dados para formatos de destino distintos  Carga para banco de dados  Popular Data warehouse  Carga Particionada  Carga Parallel  Clustering

60 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  60 KettlE Ambiente (Environment)  Interface GUI (Spoon,Chef) Drag & Drop Debugger  Ferramentas Command line Execução de ”jobs” (Kitchen) Execução de transformações (Pan)  Web server clustering Execução remota  API de programação para Java

61 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  61 Kettle, na prática!

62 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  62 Kettle, na prática! Spoon

63 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  63 Kettle, na prática! Spoon & Chef Overview

64 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  64 Kettle, na prática! Exemplo de transformação Exemplo de job

65 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  65 Kettle, na prática! Caso de Uso: Populando um Data Mart

66 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  66 Kettle, na prática! Fonte dos dados:  Banco de Dados de Exemplo do MS Acess  Formato: Access (.mdb)  Nome do Banco Northwind  Descrição da base A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos. Ferramentas  Pentaho Data Integration

67 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  67 Kettle, na prática! Destino dos Dados:  Data Mart no Postgres 8.2  Nome do Banco NorthwindDW  Descrição Base de dados no modelo estrela. O assunto do modelo: Vendas Objetivos  Extrair os dados da base Access, aplicar transformações e carregá-las no banco NorthwindDW do Postgres

68 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  68 Kettle, na prática! Diagrama NorthWind Fonte

69 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  69 Diagrama Estrela Vendas Destino Kettle, na prática!

70 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  70 Conclusão Positivos:  Grátis  Comunidade ativa  Extensível  Open Source  30+ Templates de transformação  Baixo TCO Negativos  Treinamento oficial caro (USD 5k por 3 dias)  Escassez de documentação  API para uma linguagem (Java)

71 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  71 Referências 1.www.wikipedia.orgwww.wikipedia.org 2.www.pentaho.orgwww.pentaho.org 3.Kimball, R., Caserta, J. The Data Warehouse Etl Toolkit. Wiley, September, kettle.pentaho.orgkettle.pentaho.org 5.Kimball, R., Ross, M. The Data Warehouse Toolkit. Wiley, 2nd, April, Havey, M. Essential Business Process Modeling O'Reilly, August, www.bpmi.orgwww.bpmi.org 8.www.omg.orgwww.omg.org

72 CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  72


Carregar ppt "CIn/UFPE – Projeto Conceitual de Banco de Dados – Prof. Robson Fidalgo  1."

Apresentações semelhantes


Anúncios Google