Granular Computing and Rough Sets to Generate Fuzzy Rules Denise Guliato Jean Carlo de Sousa Santos

Introduction  Classifier systems: Neural Network; Probability; Decision Tree; Decision Rules 2

IIntroduction  A SAME SET OF FEATURES IS GOOD TO CLASSIFY ALL THE OBJECTS IN A GIVEN DATASET???  IS IT ALWAYS POSSIBLE TO CLASSIFY ALL THE OBJECTS OF A DATASET??? 3

How to classify these objects ? 4 In a general way, a classifier tries to find a (linear or non linear) decision surface to classify the objects as o or x o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2

How to classify these objects?? 5 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small

Understanding the patterns to classify the object o 6 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 Low medium high large small B1 B2 B3

Rough sets theory can model this problem 7 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 B1 B2 B3 Upper approximation defines the set of all objects in Bi | Bi ∩ balls_class ≠ Upper approximation set= {B1 U B2 U B3} Lower approximation is an union of all objects in Bi | Bi balls_class Lower approximation set= {B1}

Lower approximation is too restrictive and Upper approximation may be too permissive to represent the objects in the ball_class 8 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 B3 Upper α approximation defines a set of Bi | Bi ∩ balls_class ≠ and the ratio of Bi ∩ ball_class and |ball_class|are ≥ α Upper α approximation set = {B1 U B2} B2 B1

Now the rules are derived for the ball_class taking into account the information in Upper α set and the sets B1 and B2: 9 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class Low medium high large small B1 B2

The same process is carried out for the x_class: 10 B4 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 Upper α = {B4} R3: if f1 is low then x_class Low medium high large small

The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evience to classify the object” The clause else is executed If (1 – max{µR1, µR2, µR3}) if maximal or If max{µR1, µR2} = max{µR3} 11

How to classify a new object ? 12 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small µf1 low = 0; f1: µf1 medium = 0.3; µf1 high = 0.9 µf2 small = 1; µf2 large = 0

The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evidence to classify the object” 13 µf1 low = 0; f1: µf1 medium = 0.3; µf1 high = 0.9 µf2 small = 1; µf2 large = 0 R1: 0.9 R2: 0 R3: 0 R4: 1 – 0.9 = 0.1 The new object is classified as ball

How to classify a new object ? 14 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small µf1 low = 1; f1: µf1 medium = 0; µf1 high = 0 µf2 small = 0; µf2 large = 1

The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evidence to classify the object” 15 µf1 low = 1; f1: µf1 medium = 0 ; µf1 high = 0 µf2 small = 0; µf2 large = 1 R1: 0 R2: 0 R3: 1 R4: 1 – 1.0 = 0 The new object is classified as x

Challenges --How to choose the candidates for granules of the knowledge (subsets of relevant attributes)???? 16 --How to choose the fuzzy partitions??? In this work we have used apriori algorithm In this work we have used fixed partitions.

The proposed method  Generates fuzzy rules automatically with the aim of pattern classification: ○ Concise rules; ○ Reduced number of rules; ○ High classification precision rate.  Make it possible to designs a classification system based on the fuzzy rules that is able to distinguish between evidence and ignorance in the pattern classification.  The approach make it possible to understand how a given dataset is clusterized. 17

Some experiments  Cross validation method: 10-fold;  α = 0.90,  support = 7% (a priori has been used to define the relevant granules of the knowledge);  Bases UCI Machine Learning Repository e resultados : 18 dataset# objects # conditional attributes#classes # partitions Iris Wine Wdbc Wdbc Wpbc

Results 19 Data set Precision Rate (%) Average number of NE Average Number of rules Avarage Number of Terms Iris1,000,802,401,30 Wine0,990,268,161,64 Wdbc 10,974,855,11,16 Wdbc 20,930,0012,151,58 Wpbc0,931,4534,11,94 NE = No evidence to classify

Comparison of Results 20

Comparison of Results 21

Comparison of Results 22

Comparison of Results 23

Comparison of Results 24

Comparison of Results 25

Ongoing projects  Development of shape descriptors for 3D space using decomposition of the image and Hilbert curve; 26

Bases de dados – kimia99 Dataset: Kimia 99 (subset of MPEG-7) 9 classes with 11 images each one

Dataset: Kimia216 (subset of MPEG-7) 18 classes with 12 images each one de dados – Kimia216

Dataset: MPEG-7 70 classes with 20 images each one

Dataset: w720 (objects are rotated 5º - 10 classes with 72 images each one

Dataset: breast cancer dataset 2 classes: 65 benign masses and 46 malignant tumors

Ongoing projects  Classification using Neural Network 32 Base de ImagensAUC Breast cancer (diagnosis) Kimia Kimia W720 (rotated shapes) MPEG

Ongoing projects  Development an unsupervised and automatic method to derive fuzzy partitions based on fuzzy k_means;  Building a bag of visual features based on decomposition of a given dendogram with the aim of content-based image retrieval;  Detection of key frames in video based on bag of visual features. 33

34 Colaborators Agma J. Traina – ICMC – USP Caetano Traina – ICMC – USP Solange Resende – ICMC – USP Celso Saibel - UFBA Ricardo Marcacini – ICMC – USP Robson Soares – FACOM – UFU Alan Genari – FACOM – UFU Walter de Oliveira – FACOM – UFU Carlos – DCC - UFMG Ivo Silva – FACOM - UFU Thank you for the attention!!!

Discussão de resultados– Teste 1  Remoção das amostras não classificáveis no treino.  Teste com as amostras de treino originais. Observaçõs 1 : O número de amostras não classificáveis foi mantido o mesmo para todas as bases de dados. Amostras não classificáveis não modificam o conjunto de regras gerado. 35

Discussão de resultados – Teste 2 Remoção das amostras não classificáveis no treino. Teste com as amostras de teste originais. 36 IRISbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador100% BayesNet92,66%94,83% Decision Table92,66%95,05% J4896,03%95,10% LibSVM96,03%95,10% Multilayer Perceptron97,33%95,10%

Discussão de resultados – Teste 2 37 WINEbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador99,04%98,80% BayesNet98,76%97,69% Decision Table92,90%94,62% J4894,33%94,98% LibSVM97,76%98,22% Multilayer Perceptron97,03%97,69%

Discussão de resultados – Teste 2 38 WDBC 1 (10 CARACTÍSTICAS)base com todas amostrasbase sem amostras não-classificáveis Nosso Classificador97,45%96,19% BayesNet92,40%92,18% Decision Table93,15%91,28% J4892,65%92,84% LibSVM93,80%93,56% Multilayer Perceptron93,70%93,31%

Discussão de resultados – Teste 2 39 WPBCbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador97,59% BayesNet96,30%96,84% Decision Table92,65%93,78% J4893,85%93,68% LibSVM96,05%96,46% Multilayer Perceptron95,80%95,30%

Discussão de resultados – Teste 3  Remoção de todas as amostras não classificáveis da base de dados original.  Realização de validação 10-fold normalmente para esta segunda base de dados obtida. 40

Discussão de resultados – Teste 3 IRISbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador100%100,00% BayesNet92,66%96,43% Decision Table92,66%95,63% J4896,03%95,63% LibSVM96,03%92,56% Multilayer Perceptron97,33%96,96% 41

Resultados – Teste 3 WINEbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador99,04%99,10% BayesNet98,76% Decision Table92,90%97,70% J4894,33%97,30% LibSVM97,76%96,50% Multilayer Perceptron97,03%100,00% 42

Discussão de resultados – Teste 3 WPBCbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador93,09%93,12% BayesNet96,30%96,65% Decision Table92,65%96,00% J4893,85%96,70% LibSVM96,05%96,60% Multilayer Perceptron95,80%98,60% 43

Discussão de resultados – Teste 3 WDBC 1 (10 CARACTERÍSTICAS)base com todas amostrasbase sem amostras não-classificaveis Nosso Classificador97,45%97,76% BayesNet92,40%93,60% Decision Table93,15%94,65% J4892,65%94,35% LibSVM93,80%94,10% Multilayer Perceptron93,70%95,80% 44

Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 45

Conclusões  Método proposto apresenta alta precisão de classificação para as bases de teste utilizadas;  Método gera regras concisas (Rosetta – quick reduct) e com alta taxa de cobertura;  Classificador capaz de discernir entre a ignorância e a evidência no processo de classificação; 46

Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 47

Principais contribuições  Proposta de uma extensão para as operações de aproximação definidas na TRS, denominada aproximação alpha de X;  Proposta de um método para geração automática de regras baseado na teoria dos rough sets;  Proposta de um sistema de classificação capaz de discernir quanto a evidência ou ignorância no processo de classificação. 48

Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 49

Trabalhos Futuros  Desenvolvimento de um método para obtenção automática da partição fuzzy;  Realização de testes em bases de dados mais volumosas. 50

Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 51

Publicações  SANTOS, J.C.S. and GULIATO, D. Proposta de um método para geração automática de regras fuzzy baseada na teoria dos rough sets. Clei’09 : Conferência Latino America de Informática,  GULIATO D. and SANTOS, J.C.S. Granular computing and rough sets to generate fuzzy rules. In ICIAR’09: Proceedings of the 6th International Conference on Image Analysis and Recognition, pp. 317–326, Berlin, Heidelberg, Springer-Verlag. 52

Agradecimentos  Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq);  Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG);  Coordenação de Aperfeiamento de Pessoal de Nível Superior (CAPES). 53

Obrigado ! 54