Jackson D. N. Mourão Pietrângelo V. Ferronato Generalização de Regras de Associação Utilizando Taxonomias Após Pós-Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato

Processo de Extração de Padrões em Bases de Dados Para que serve? Quem utiliza? Qual o problema?

Trabalhos Relacionados Descrição de um Algoritmo para Generalização de Regras de Associação (DOMINGUES, 2004) Objetivo: filtrar conjunto de regras; Método Adotado: taxonomias; Resultados: redução entre 14,61% e 50,11%; Influência da Imputação de Valores Ausentes nos Classificadores Descobertos (CALIL, 2008) Objetivo: imputação de valores ausentes; Método Adotado: árvores de decisão; Resultados: redução na quantidade de regras e na taxa de erro do classificador;

Trabalhos Relacionados Um Método de Pós-processamento de Regras de Associação com Base nas Relações de Dependência entre os Atributos (BÜRKLE, 2006) Objetivo: eliminar regras redundantes; Método Adotado: relações de dependência entre atributos; Resultados: bons percentuais de redução nas quatro bases de dados testadas; Análise do Conhecimento Extraído de Classificadores Simbólicos Utilizando Medidas de Avaliação e de Interessabilidade (GOMES, 2002) Objetivo: medir os padrões descobertos; Método Adotado: medidas qualitativas e quantitativas; Resultados: algumas regras potencialmente mais interessantes.

Trabalhos Relacionados Identificação de Regras de Associação Interessantes por meio de Análises com Medidas Objetivas e Subjetivas (SINOARA, 2006) Objetivo: identificar regras potencialmente mais interessantes; Método Adotado: medidas objetivas e subjetivas; Resultados: demonstrou-se que a combinação proposta auxilia na avaliação das regras;

Conceitos Regras de Associação “Um cliente que compra os produtos (X1,X2, ..., Xn) também irá comprar os produtos (Y1, Y2, ..., Ym) com probabilidade c%” Padrão Apriori Y  X Z (50.5%, 80.2%)

Avaliação e Poda de Regras Conceitos Avaliação e Poda de Regras Objetivos Avaliar regras geradas; Reduzir o tamanho do conjunto de regras; Método Medidas objetivas e subjetivas; Medidas quantitativas e qualitativas; Identificar regras redundantes ou potencialmente não interessantes;

Convicção Domínio: de zero a infinito; Conceitos Convicção Domínio: de zero a infinito; Caso for 1: existe a independência completa entre A e B; Caso for infinito: A nunca aparece sem B (confiança de 100%);

Generalização de Regras Conceitos Generalização de Regras Aplica-se conhecimento de domínio para gerar regras mais representativas e informativas. “5% dos clientes que compram pão-pullman-light, também compram leite-parmalat-desnatado” “30% dos clientes que comprar pão, também compram leite”

Técnica da Taxonomia Conceitos Roupas_leves Camiseta Bermuda Roupas_pesadas Japona Sobretudo Camiseta  bone Bermuda  bone Roupas_leves  bone

Método Proposto Avaliar e eliminar regras através da medida objetiva Convicção; Generalizar as regras: Agrupar por Conseqüente; Generalizar em Linha; Agrupar por Antecedente/Taxonomia; Generalizar em Coluna; Desfazer Generalizações Não Repetidas; Concatenar Taxonomias aos Dados Calcular Suporte e Confiança para as Regras Generalizadas; “Desgeneralizar” Regras de Baixa Confiança; Gerar Arquivo de Saída;

Agrupar por Conseqüente Método Proposto Agrupar por Conseqüente Árvore de Agrupamento Bone ? 2 Bermuda camiseta  bone Sandalia camiseta  bone Chinelo bermuda  bone Chinelo brinco  bone Cachecol 1 Sobretudo  cachecol Japona  cachecol Japona camiseta  cachecol Início da Estrutura Conseqüentes Taxonomias Qtd. de Itens no Antecedente Regras

Generalizar em Linha Método Proposto Regras Bermuda camiseta  bone Chinelo bermuda  bone Chinelo brinco  bone Sandalia camiseta  bone Japona  cachecol Sobretudo  cachecol Japona camiseta  cachecol Regras Generalizadas em Linha Roupas_leves  bone Chinelo bermuda  bone Chinelo brinco  bone Sandalia camiseta  bone Japona  cachecol Sobretudo  cachecol Japona camiseta  cachecol

Agrupar por Antecedente Método Proposto Agrupar por Antecedente Árvore de Agrupamento Bone ? 1 Roupas_leves  bone 2 Sandalia camiseta  bone Chinelo bermuda  bone Chinelo brinco  bone Início da Estrutura Conseqüentes Taxonomias Qtd. de Itens no Antecedente Regras

Agrupar por Antecedente Método Proposto Agrupar por Antecedente Árvore de Agrupamento Bone ? Roupas_leves 1 Roupas_leves  bone Calcados_abertos 2 Sandalia camiseta  bone Chinelo bermuda  bone Chinelo brinco  bone Início da Estrutura Conseqüentes Taxonomias Qtd. de Itens no Antecedente Regras

Generalizar em Coluna Método Proposto Árvore de Agrupamento Bone ? Roupas_leves 1 Roupas_leves  bone Calcados_abertos 2 Calcados_abertos camiseta  bone Calcados_abertos bermuda  bone Calcados_abertos brinco  bone Início da Estrutura Conseqüentes Taxonomias Qtd. de Itens no Antecedente Regras

Generalizar em Coluna Método Proposto Árvore de Agrupamento Bone ? Calcados_abertos brinco  bone Roupas_leves 1 Roupas_leves  bone 2 Calcados_abertos roupas_leves  bone Calcados_abertos Início da Estrutura Conseqüentes Taxonomias Qtd. de Itens no Antecedente Regras

Desfazer Generalizações não Repetidas Método Proposto Desfazer Generalizações não Repetidas Regras Calcados_abertos brinco  bone Calcados_abertos Roupas_leves  bone Roupas_leves  bone Regras Chinelo brinco  bone Calcados_abertos Roupas_leves  bone Roupas_leves  bone

Concatenar Taxonomias aos Dados Método Proposto Concatenar Taxonomias aos Dados Dados Original Bermuda bone chinelo Chinelo brinco bone Dados com Taxonomias Roupas_leves acessorios calcados_abertos Calcados_abertos ? Acessorios

Calcular Suporte e Confiança Método Proposto Calcular Suporte e Confiança Varre a base de dados buscando itens nos registros duplos (linha das respectivas taxonomias e linha original); Dados com Taxonomias Roupas_leves acessorios calcados_abertos Bermuda bone chinelo Calcados_abertos ? Acessorios Chinelo brinco bone

“Desgeneralizar” Regras com Baixa Confiança Método Proposto “Desgeneralizar” Regras com Baixa Confiança Regras Chinelo brinco  bone (10%; 80%) Calcados_abertos Roupas_leves  bone (15%; 90%) Calcados_abertos Roupas_leves  bone (13%; 85%) Roupas_leves  bone (10%; 82%) Roupas_pesadas  cachecol (50%; 60%) Regras Chinelo brinco  bone (10%; 80%) Calcados_abertos Roupas_leves  bone (15%; 90%) Calcados_abertos Roupas_leves  bone (13%; 85%) Roupas_leves  bone (10%; 82%) Japona  cachecol (20%; 83%) Sobretudo  cachecol (17%; 86%)

Método Proposto Gerar Arquivo de Saída

Resultados 1062 Regras Podadas (50,8% menor) 1285 Registros 958 Regras (7% menor)

Conclusão A eficácia do método depende: Do quão generalizáveis são os dados; De quanto conhecimento de domínio está disponível; Da configuração das taxonomias confeccionadas;

Trabalhos Futuros Generalizar conseqüente da regra; Agrupar no arquivo de saída as regras que possuem antecedentes de mesma taxonomia; Roupas_banho Sunga Biquíni Maiô Regras Generalizadas Roupas_banho  entraNoMar Sunga  entraNoMar Biquini  entraNoMar Maiô  naoEntraNoMar

Referências BÜRKLE, Paula Yamada. Um Método de Pós-processamento de Regras de Associação com Base nas Relações de Dependência entre os Atributos. Universidade Federal Fluminense, Niterói, 2006. CALIL, Leonardo Aparecido de Almeida. Influência da imputação de valores ausentes nos classificadores descobertos. Universidade Tuiuti do Paraná, Curitiba, 2008. CARVALHO, Veronica Oliveira de. Generalização de regras de associação utilizando conhecimento de domínio e avaliação do conhecimento generalizado. Universidade de São Paulo, São Carlos, 2007. DOMINGUES, Marcos Aurélio. Generalização de regras de associação. Universidade de São Paulo, São Carlos, 2004. GOMES, Alan Keller. Análise do Conhecimento Extraído de Classificadores Simbólicos Utilizando Medidas de Avaliação e de Interessabilidade. Universidade de São Paulo, São Carlos, 2001. GONÇALVES, Eduardo Corrêa. Regras de Associação e suas Medidas de Interesse Objetivas e Subjetivas. Universidade Federal Fluminense, Niterói, 2005. MELANDA, Edson Augusto. Pós-processamento de Regras de Associação. Universidade de São Paulo, São Carlos, 2004. REZENDE, Solange Oliveira. Sistemas Inteligentes – Fundamentos e Aplicações. 1a edição. Barueri – SP Editora Manole, 2003. SINOARA, Roberta Akemi. Identificação de regras de associação interessantes por meio de análises com medidas objetivas e subjetivas. Universidade de São Paulo, São Carlos, 2006. SOUZA, Viviane Dal Molin; CARVALHO, Deborah Ribeiro. Avaliando a relação entre quão corretas e interessantes podem ser as regras de associação descobertas. Tuiuti: Ciência e Cultura, Curitiba, n.37, p. 9-19, 2005. Disponível em: http://www.utp.br/tuiuticienciaecultura/TCC%5Fonline/. Acesso em: 19 out. 2009.

Nova Versão no Site http://code.google.com/p/generalizer/downloads/list