S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Apresentação em tema: "S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados."— Transcrição da apresentação:

1 S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados

2 O que é Mineração de Processos? Que logs são esses? Motivação Objetivos Log exemplo Tipos de conhecimento Perspectiva de processo/ organização / caso Algoritmo α Definições / Passos / Limitações Técnica Heurística ProM Framework 02/12/2008 Mineração de Dados 2

3 3 Extrair conhecimento de logs de eventos gravados por um sistema de informação. 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

4 Sistemas de informação empresariais armazenam eventos relevantes de alguma forma estruturada. Ex. de sistemas: ERP ( Enterprise Resource Planning ) Registram todas as transações: Ex: preenchimento de formulários, alterações de documentos CRM ( Customer Relationship Management ) Registram interações com os consumidores B2B ( Business to Business ) Registram trocas de mensagem entre partes; WFM ( Workflow Management ) Registram o inicio e conclusão de atividades 02/12/2008 Mineração de Dados 4 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

5 Os sistemas possuem modelos de processos (implícitos ou explícitos). Oferecem liberdade em sua utilização Ex: Um sistemas de informação hospitalar com diretrizes clínicas que descrevem o tratamento de uma doença específica. 02/12/2008 Mineração de Dados 5 Modelos de referência descrevem como as pessoas DEVEM trabalhar! 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

6 Relacionado a tendências de gestão (BPR ( Business Process Reengineering ), BI ( Business Intelligence ), KM ( Knowledge Management ) ) O objetivo é entender o que realmente está acontecendo. Process Discovery e Delta Analysis 02/12/2008 Mineração de Dados 6 É uma técnica de MONITORAMENTO de sistemas de informação. 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

7 Delta Analysis – pode também ser usado para comparar diferentes departamentos/organizações que usam o mesmo sistema ERP. Padrões interessantes podem ser encontrados em diferentes níveis: Componentes de software Processos de negócio Organizações 02/12/2008 Mineração de Dados 7 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

8 02/12/2008 Mineração de Dados 8 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

9 02/12/2008 Mineração de Dados 9 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

10 02/12/2008 Mineração de Dados 10 Perspectiva de Processo Perspectiva de Organização Perspectiva de Caso 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

11 Foco no controle de fluxo Expresso em uma Rede de Petri 02/12/2008 Mineração de Dados 11 COMO? 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

12 Exemplo Lógico Atividade A é sempre sequida por B; Atividade C e D podem ser executadas em paralelo; Exemplo de Performance O tempo médio de processamento da atividade A é 35 minutos; Atividade A é executada para 80% dos casos; 02/12/2008 Mineração de Dados 12 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

13 Foco no executor da atividade Construir Rede Social – transferência de trabalho entre pessoas 02/12/2008 Mineração de Dados 13 QUEM? 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

14 Estrutura Organizacional Diagrama Atividade-Função-Pessoa 02/12/2008 Mineração de Dados 14 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

15 Exemplo Lógico John e Mary trabalham no mesmo time de desenvolvimento; Pete é o admininstrador do departamento X; Exemplo de Performance John trabalha em média com 30 casos por dia; Mary e Pete trabalham juntos em 50% dos casos; 02/12/2008 Mineração de Dados 15 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

16 Foco nas propriedades de um caso Tenta estabelecer relações entre as propriedades de um caso Requer campos adicionais com características dos casos. 02/12/2008 Mineração de Dados 16 O QUE? 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

17 Exemplo Lógico Casos de mais de 5.000 euros são manipulados por John; Atividade A é executada apenas para clientes particulares; Exemplo de Performance 80% dos casos de mais de 5.000 euros são concluídos em dois dias; A média de tempo de conclusão de casos tratados por John e Mary é de duas semanas; 02/12/2008 Mineração de Dados 17 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

18 Objetivo: Inferir a estrutura do processo; Entrada: Log do sistema Saída: Uma rede de Petri ( P, T, F ), onde: P = conjunto de estados T = conjunto de transições F = conjunto de ligações (arcos) 02/12/2008 Mineração de Dados 18 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

19 Entrada: 02/12/2008 Mineração de Dados 19 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

20 Definições: Seja T um conjunto de atividades: W = {ABCD, ACBD, AED} Para encontrar o modelo de processos, devem ser procuradas relações de dependência/causa no log de eventos 02/12/2008 Mineração de Dados 20 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

21 . Ex: A>B, A>C, A>E, B>C, C>D, E>D, … A B, A C, A E, B D, C D, E D B || C, C || B 02/12/2008 Mineração de Dados 21 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

22 Passos (8): 02/12/2008 Mineração de Dados 22 Tw = {A, B, C, D, E} Ti= {A} To = {D} 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

23 Passos (8): 02/12/2008 Mineração de Dados 23 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

24 Passos (8): 02/12/2008 Mineração de Dados 24 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

25 Como funciona: 02/12/2008 Mineração de Dados 25 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

26 02/12/2008 Mineração de Dados 26 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

27 Problemas lógicos ( não abordadas aqui ) (atividades invisíveis, duplicadas, …) Não sabe lidar com: Ruídos Atividades de baixa frequência Sequência de baixa frequência Exceções Uma Solução: Técnicas heurísticas de mineração 02/12/2008 Mineração de Dados 27 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

28 Utiliza a frequência como métrica para indicar grau de certeza que A B Seja W um log de eventos em T, e a,b T Observe que o valor da relação está sempre entre -1 e 1 Um valor alto indica maior confiança na existencia da relação A B 02/12/2008 Mineração de Dados 28 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

29 Ex: A >B aparece em 5 sequências e B>A em nenhuma: A B = 5/6 = 0.833 A >B aparece em 50 sequências e B>A em nenhuma: A B = 50/51 = 0.980 A >B aparece em 50 sequências e B>A aparece 1 vez (ruído): A B = 49/52 = 0.94 Como definir um limiar? 02/12/2008 Mineração de Dados 29 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

30 Não é preciso um limiar, basta escolher o melhor candidato!!! Ex: 27 eventos do log de ex. anterior + 3 ruídos: ABCED, AECBD, AD ) 02/12/2008 Mineração de Dados 30 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

31 Grafo de dependência, com a confiança de cada relação. Técnica incompleta. 02/12/2008 Mineração de Dados 31 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

32 www.processmining.org Grátis e Open Source 02/12/2008 Mineração de Dados 32 1. O que é Miner. de Pro.? 2. Que logs são esses? 3. Motivação 4. Objetivos 5. Log exemplo 6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos 7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações 8. T écnica heurística 9. ProM Framework

33 Prefeitura: Descobrir os caminhos de execução mais frequentes Minerar processos e comparar com os modelos implantados Empresa: Objetivo: reduzir o período de teste dos scanners produzidos Perguntas: Como os testes então realmente sendo executados? Os testes estão seguindo o modelo de referência? Em que partes do processo de teste gasta-se mais tempo? 02/12/2008 Mineração de Dados 33

34 S TÉFANI P IRES 02/12/2008 Mineração de Dados