II. M o d e l o s d e C o n h e c i m e n t o

II.1 Regras de Associação

O Modelo Dados: Um banco de dados de transações de compra Cada transação é um conjunto de ítens comprados Encontrar todas as regras X => Y que associam um conjunto de ítens X com outro conjunto de ítens Y Exemplo: 98% das pessoas que compram fraldas e comidas infantis também compram cerveja. Qualquer número de ítens no consequente Y / antecedente X de uma regra Regras com restrições (i.e., encontrar somente regras envolvendo produtos importados caros)

Aplicações Perfis de clientes (“Market basket analysis”) “Merchandizing” Detecção de fraudes em seguros de saúde Organização de produtos em vitrines de lojas

Confiança e Suporte Uma regra deve ter uma confiabilidade mínina (confidence), especificada pelo usuário 1 & 2 => 3 tem 90% de confiabilidade se quando um cliente comprou 1 e 2, em 90% dos casos, ele também comprou 3 Problema: poucas regras – sem validade estatística Solução: o conceito de suporte Uma regra deve ter um suporte (support) mínimo especificado 1 & 2 => 3 1, 2 e 3 devem aparecer em pelo menos uma quantidade mínima

Exemplo Exemplo 1 Para suporte mínimo = 50%, e confiabilidade mínima = 50%, temos as seguintes regras 1 => 3 com 50% de suporte e 66% de confiabilidade 3 => 1 com 50% de suporte e 100% de confiabilidade

Exemplo (2) Exemplo 2 Para suporte mínimo = 50%, e confiabilidade mínima = 90%, temos as seguintes regras 1 => 3 com 50% de suporte e 66% de confiabilidade – excluída 3 => 1 com 50% de suporte e 100% de confiabilidade Conclusão: regras de associação não são comutativas

O Algortimo Apriori de Regras de Associação Há dois motivos fortes para mostrar como funciona um algoritmo de regras de associação Os usuários do algoritmo ganham confiança Algoritmos de mineração de dados geralmente são muito simples, não requerendo técnicas de inteligência artificial, como linguagens indutivas do tipo Prolog Resultados inteligentes Algoritmos tradicionais, e mais importante, com bom desempenho Veremos o seminal algoritmo Apriori

Apriori (2) Algoritmo Apriori Etapa 1: Encontrar todos os conjuntos de ítens com suporte mínimo — conjuntos de ítens freqüentes Fase mais pesada, em termos de custos Muitos trabalhos de pesquisa em otimização Etapa 2: Uso dos conjuntos de ítens freqüentes para gerar as regras Fase leve, em termos de custos

Apriori (3) Suporte mínimo = 50% Confiabilidade mínima = 50% Para a regra 1 => 3: Suporte = Suporte({1, 3}) = 50% Confiabilidade = Suporte({1,3})/Suporte({1}) = 66%

Apriori - Etapa 1 Fk : Conjuntos de ítens freqüentes de tamanho k Ck : Conjuntos de ítens candidatos de tamanho k F1 = {conjuntos de ítens de tamanho 1} Para ( k=1; Fk != ; k++) faça { Ck+1 = Novos candidatos gerados de Fk Para cada transação t no banco de dados faça Incremente o contador de todos os candidatos em Ck+1 que estão contidos em t Fk+1 = Candidatos em Ck+1 com suporte mínimo } Saída: k Fk

Apriori - Etapa 2 Entrada: k Fk Para cada Fk Para cada X, Y  Fk Se (Suporte(Fk) / Suporte(X))  Confiança então seleciona a regra X  Y

Otimização Cada subconjunto do um conjunto de ítens freqüente é também um conjunto de ítens freqüente Um conjunto de ítens candidato – Fk – em Ck+1 deve ser removido (“pruned”) se qualquer um dos seus subconjuntos não estiver contido em Fk

Exemplo Banco de Dados BD C1 F1 Varre BD Suporte > 50% C2 F2

Regras de Associação Generalizadas Hierarquias de ítens Associações através de hierarquias A regra vestuário => calçados pode ser válida mesmo que vestuário => botas não seja válida vestuário outwear camisas jaquetas calças calçados sapatos botas

Regras de Associação Quantitativas Atributos numéricos (i.e. idade, rendimentos) Atributos nominais ou categóricos (i.e. temperatura alta) [Idade: 30..39] e [Casado: Sim] => [NumCarros:2] suporte mínimo = 40% confiabilidade mínima = 50%

Regras de Associação com Restrições Restrições são especificadas para focar somente em partes do BD de interesse Exemplo: encontrar regras de associação em que os preços dos ítens são no máximo 200 reais

Regras de Associação Temporais Pode descrever o rico caráter temporal dos dados Exemplo {fralda}  {cerveja} (suporte = 5%, confiabilidade = 87%) O suporte desta regra pode saltar para 25% aos sábados de manhã

Padrões de Seqüência Dadas Uma seqüência de transações de clientes Cada transação é um conjunto de ítens Encontrar os padrões das seqüências de transações desses clientes Exemplo: 10% dos clientes que compraram um PC fizeram um “upgrade” da memória do PC em uma transação subsequente 10% é o suporte dos padrões de seqüência