UFPE - Universidade Federal de Pernambuco CIn - Centro de Informática Pós-Graduação em Ciência da Computação Fuzzy Logic and Evolutionary Algorithms: Two Techniques in Rule Extraction from Neural Networks U. MARKOWSKA-KACZMAR, W. TRELAK Aluno: Paulemir Gonçalves Campos Orientadora: Profª. Drª. Teresa Bernarda Ludermir 27/11/2018 Disciplina SH - 2005.2

Roteiro da Apresentação 1. Introdução 2. Conceitos Básicos do Método REX 3. As Regras e Conjuntos Fuzzy com o REX 4. REX Pitt 5. REX Michigan 6. Estudos Experimentais 7. Conclusões Referências Bibliográficas 27/11/2018 Disciplina SH - 2005.2

1. Introdução Redes Neurais Artificiais (RNAs) Largamente aplicada em muitos domínios; Podem generalizar o conhecimento obtido durante treinamento; São relativamente insensíveis a perturbações ou ruídos nos dados; Mas, não produzem a explicação de suas decisões finais. 27/11/2018 Disciplina SH - 2005.2

1. Introdução Devido a esta deficiência, aquisição de conhecimento de RNAs está tornando-se uma área importante com a melhora da tecnologia de armazenamento de dados. Regras “Se-Então” Uma forma muito popular de representação de conhecimento; A parte “Se” contém as condições impostas aos atributos de entrada de um padrão; E a parte “Então” indica o valor predito ou código da classe. 27/11/2018 Disciplina SH - 2005.2

1. Introdução Na literatura, há muitos diferentes métodos para extração de regras. Muitos destes métodos usando regras booleanas ou crisps; Pesquisadores recentemente estão interessados na forma de regras Fuzzy, pois são mais naturais para nós humanos. 27/11/2018 Disciplina SH - 2005.2

1. Introdução Este artigo propõe dois Algoritmos Evolucionários (AE) especialmente designados para serem ferramentas que buscam por regras que descrevem o comportamento da RNA em problemas de classificação; Ambos são chamados REX (Rule EXtractor) REX Pitt: codifica todas as regras extraídas da rede num cromossomo; REX Michigan: formado por dois AE, um para buscar regras Fuzzy apropriadas e o outro para gerar os conjuntos Fuzzy. 27/11/2018 Disciplina SH - 2005.2

2. Conceitos Básicos do Método REX A figura a seguir apresenta a idéia principal dos algoritmos REX. 27/11/2018 Disciplina SH - 2005.2

2. Conceitos Básicos do Método REX Regras com conjuntos Fuzzy encontradas pelo REX são avaliadas em relação às respostas da rede para um conjunto de padrões. A RNA é tratada como uma caixa-preta; A escolha dos indivíduos da nova população é baseada no método da roleta ou seleção proporcional. Neste caso, um nível de aptidão (fitness) é usado para associar a probabilidade de seleção de cada indivíduo. 27/11/2018 Disciplina SH - 2005.2

2. Conceitos Básicos do Método REX Os métodos REX Pitt e Michigan diferem em performance e detalhes de implementação. Porém, possuem vários pontos em comum: O modo de codificação das regras e dos conjuntos Fuzzy; A criação da nova população; A inferência Fuzzy; E, operadores de mutação e crossover. 27/11/2018 Disciplina SH - 2005.2

3. As Regras e Conjuntos Fuzzy com o REX As regras Fuzzy extraídas pelo REX tem a seguinte forma: Se x1 é Z1r E ... E xn é Znb Então y1y2yc, onde: xi – indica a entrada i da rede; Zib – valor Fuzzy da entrada i pertencente ao conjunto Fuzzy Zib (i  [1; n]); y1y2yc – código da classe (c é o número de classes). 27/11/2018 Disciplina SH - 2005.2

3. As Regras e Conjuntos Fuzzy com o REX Utiliza-se conjuntos Fuzzy triangular no REX; A figura a seguir mostra um exemplo de conjuntos Fuzzy triangular referindo-se a uma variável de entrada xi. 27/11/2018 Disciplina SH - 2005.2

3. As Regras e Conjuntos Fuzzy com o REX Cada conjunto Fuzzy no REX é descrito por: F: flag que indica a ativação ou não de um dado conjunto Fuzzy; Dado codificado: um número real correspondendo ao pico d do triângulo de um dado conjunto Fuzzy. Regras e conjuntos Fuzzy são codificados independentemente. 27/11/2018 Disciplina SH - 2005.2

3. As Regras e Conjuntos Fuzzy com o REX Parte do cromossomo codificando um regra. Parte do cromossomo codificando conjuntos Fuzzy. 27/11/2018 Disciplina SH - 2005.2

3. As Regras e Conjuntos Fuzzy com o REX Um regra é disparada apenas quando todas as suas premissas estão ativas. Utiliza-se o operador T-norm (função mínimo) nas premissas das regras para obter-se o grau de pertinência de uma regra. Por fim, seleciona-se a primeira regra com maior grau de pertinência usando o operador T-co-norm (função máximo). Logo, a ordem das regras é muito importante. 27/11/2018 Disciplina SH - 2005.2

4. REX Pitt Neste algoritmo, um indivíduo é formado por um conjunto de regras Fuzzy e uma coleção de grupos de conjuntos Fuzzy descrevendo as variáveis de entrada. O código de uma regra consiste de: um bit de ativação; uma lista de genes de premissas; um gene de conclusão. 27/11/2018 Disciplina SH - 2005.2

O esquema do cromossomo no REX Pitt Onde, F: bit de atividade; PC – Código da Premissa; CC – Código da Conclusão e D – Código do Conjunto Fuzzy (pico do triângulo). 27/11/2018 Disciplina SH - 2005.2

Exemplo de Cromossomo no REX Pitt Conjuntos Fuzzy obtidos do cromossomo acima. 27/11/2018 Disciplina SH - 2005.2

4. REX Pitt Após a decodificação do cromossomo anterior, obtém-se as seguintes regras: Se x1 é Z1,1 E x2 é Z2,1 Então 001 Se x2 é Z2,3 Então 010 Se x2 é Z2,4 Então 100 27/11/2018 Disciplina SH - 2005.2

4. REX Pitt População Inicial A primeira população é selecionada aleatoriamente; Conjuntos fuzzy em cada grupo são dispostos em ordem crescente de valor do ponto central; Deve haver pelo menos uma premissa ativa por regra, um conjunto fuzzy ativo num grupo e uma regra ativa por conclusão. 27/11/2018 Disciplina SH - 2005.2

Operadores Evolucionários 4. REX Pitt Operadores Evolucionários Há vários operadores de mutação no algoritmo REX: Mutação do ponto central de um conjunto fuzzy (FC) baseada na adição ou subtração de um número real aleatório; Mutação de um valor inteiro (PC) através da adição de um número inteiro absoluto aleatório permitido no intervalo; Mutação de um bit (F, bits de CC) simplesmente por sua negação. O operador de crossover é único e uniforme. Nesta operação, regras e grupos de conjuntos fuzzy podem ser trocados entre dois indivíduos. 27/11/2018 Disciplina SH - 2005.2

Avaliação de Indivíduos 4. REX Pitt Avaliação de Indivíduos Cada indivíduo é avaliado de acordo com a seguinte função: onde: i – índice do indivíduo; , , ,  - coeficientes; k(x) é uma função igual a 2 quando x = 0 e igual a 1/x quando x  0; corri – número de classificações que concordam com a rede; incorri – número de classificações que discordam da rede; unclassi – número de padrões não classificados pelas regras; premi – número de premissas ativas nas regras ativas; fsetsi – número de conjuntos fuzzy ativos num indivíduo. 27/11/2018 Disciplina SH - 2005.2

Exemplo de regras cobrindo padrões de duas classes. 4. REX Pitt Exemplo de regras cobrindo padrões de duas classes. 27/11/2018 Disciplina SH - 2005.2

4. REX Pitt Condições de Parada máximo números de gerações atingido; não há progresso por certo número de gerações; a função de avaliação para o melhor indivíduo alcança um determinado valor. 27/11/2018 Disciplina SH - 2005.2

Complexidade Computacional 4. REX Pitt Complexidade Computacional O (GN . I . W . L . n) onde: GN é o número de gerações; I é o número total de indivíduos na população; W é o número de padrões do conjunto de treinamento; L é o número máximo de regras num indivíduo; n é o número de entrada (máximo número de premissas). 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan Este algoritmo consiste de dois AE. O primeiro, EARules, busca e otimiza regras; O segundo, EAFuzzySets, otimiza as funções de pertinência dos conjuntos Fuzzy aplicados às regras. Este método pode ser promissor quando a forma inicial dos conjuntos Fuzzy é dada por especialistas de um dado domínio. 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan EARules: Concentra-se na otimização das regras; Efetua buscas periódicas pela melhor regra que descreva a RNA, sendo incluída no conjunto de regras; Os padrões de treinamento cobertos por uma nova regra são marcados. Assim, busca-se por regras para cobrir os padrões não marcados na próxima iteração; Este método é conhecido por cobertura seqüencial; 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan EARules: Cada indivíduo representa uma regra; A forma das regras é a mesma do REX Pitt; A população de regras iniciais e conjuntos Fuzzy é escolhida aleatoriamente ou obtida de um especialista; Os operadores de mutação e crossover são usados conforme descrito com o REX Pitt; Uma regra é disparada quando sua ativação é maior que um certo limiar , diferente do REX Pitt. 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan Avaliação de Indivíduos do EARules Cada indivíduo é avaliado de acordo com a seguinte função: onde: i – índice do indivíduo; , ,  - coeficientes; k(x) é uma função igual a 2 quando x = 0 e igual a 1/x quando x  0; corr_newi – número de padrões não marcados cobertos; incorri – número de classificações que discordam da rede; premi – número de premissas ativas nas regras ativas. 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan EAFuzzySets: Concentra-se na otimização dos conjuntos Fuzzy; Uma coleção de grupos de conjuntos Fuzzy é codificada num indivíduo; Cada grupo Gj está associado a uma premissa; No final, há um código RS indicando a seqüência de regras fuzzy em ordem decrescente de prioridade de disparo; Experimentalmente, isto mostrou-se essencial para simplificar o processo de inferência fuzzy. 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan Avaliação de Indivíduos do EAFuzzySets Cada indivíduo é avaliado de acordo com a seguinte função: onde: j – índice do indivíduo; , ,  - coeficientes; k(x) é uma função igual a 2 quando x = 0 e igual a 1/x quando x  0; corrj – número de classificações que concordam com a rede; incorrj – número de classificações que discordam da rede; unclassj – número de padrões não classificados pelas regras; fsetsj – número de conjuntos fuzzy ativos num indivíduo. 27/11/2018 Disciplina SH - 2005.2

Exemplo de cromossomo no nível EARules 5. REX Michigan Exemplo de cromossomo no nível EARules Exemplo de cromossomo no nível EAFuzzySets 27/11/2018 Disciplina SH - 2005.2

5. REX Michigan Condições de Parada conjunto final de regras com apropriados conjuntos fuzzy representando o conhecimento contido na RNA num nível desejado; máximo números de gerações atingido. 27/11/2018 Disciplina SH - 2005.2

Detalhes do algoritmo REX Michigan. 27/11/2018 Disciplina SH - 2005.2

Complexidade Computacional 5. REX Michigan Complexidade Computacional O (S . GN . I . W . MR . n) onde: - S é o número de ciclos de EARules e EAFuzzySets; GN é o número de gerações; I é o número total de indivíduos na população; W é o número de padrões do conjunto de treinamento; MR é o número máximo de seqüências de cobertura em EARules; n é o número de entrada (máximo número de premissas). 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Foram realizados experimentos com estes métodos REX e com outros algoritmos como SLAVE e Full-RE. As bases de dados utilizadas foram a da Íris, de Vinho (WINE) e uma base de Câncer de Mama (WBCD) obtidas do repositório UCI. 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Parâmetros usados no treinamento das RNAs 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Parâmetros ótimos para o REX Pitt 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Parâmetros iniciais para o REX Michigan 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Resultados obtidos com a base de Íris usando duas partições (3/5 + 2/5). 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Regras extraídas pelos métodos Full-RE e REX Pitt da base de Íris. 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Resultados obtidos com a base de Íris usando 10-fold cross validation. 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Resultados obtidos com a base de Vinho (WINE) 27/11/2018 Disciplina SH - 2005.2

6. Estudos Experimentais Resultados obtidos com a base de Câncer de Mama (WBCD) 27/11/2018 Disciplina SH - 2005.2

7. Conclusões REX Pitt: produz menor número de regras do que os outros métodos; por extrair regras fuzzy, expressa o conhecimento adquirido de forma mais natural para nós seres humanos; demonstrou ser adequado para extrair pequenos conjuntos de regras com altas taxas de fidelidades de base de dados mais complexas (em especial WBCD). 27/11/2018 Disciplina SH - 2005.2

7. Conclusões REX Michigan: demonstrou ser o pior dos métodos avaliados; gera grandes números de regras; não assegura a otimização do número de regras; possui maior custo computacional; ajustes mais adequados de parâmetros como o limiar de ativação de uma regra e mutação podem melhorar o seu desempenho; e, utilizar um especialista na obtenção da população inicial. 27/11/2018 Disciplina SH - 2005.2

Referências Bibliográficas MARKOWSKA-KACZMAR, U.; TRELAK, W. Fuzzy Logic and Evolutionary Algorithms – Two Techniques in Rule Extraction from Neural Networks. Neurocomputing, Vol. 63, 2005, p. 359-379. MARKOWSKA-KACZMAR, U.; TRELAK, W. Extraction of Fuzzy Rules from Trained Neural Network Using Evolutionary Algorithm. In: ESANN’2003, Bruges, Belgium, Proceedings of the 11th European Symposium on Artificial Neural Networks, 2003, p. 149-154. 27/11/2018 Disciplina SH - 2005.2