Granular Computing and Rough Sets to Generate Fuzzy Rules Denise Guliato Jean Carlo de Sousa Santos.

Apresentação em tema: "Granular Computing and Rough Sets to Generate Fuzzy Rules Denise Guliato Jean Carlo de Sousa Santos."— Transcrição da apresentação:

1 Granular Computing and Rough Sets to Generate Fuzzy Rules Denise Guliato Jean Carlo de Sousa Santos

2 Introduction  Classifier systems: Neural Network; Probability; Decision Tree; Decision Rules 2

3 IIntroduction  A SAME SET OF FEATURES IS GOOD TO CLASSIFY ALL THE OBJECTS IN A GIVEN DATASET???  IS IT ALWAYS POSSIBLE TO CLASSIFY ALL THE OBJECTS OF A DATASET??? 3

4 How to classify these objects ? 4 In a general way, a classifier tries to find a (linear or non linear) decision surface to classify the objects as o or x o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2

5 How to classify these objects?? 5 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small

6 Understanding the patterns to classify the object o 6 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 Low medium high large small B1 B2 B3

7 Rough sets theory can model this problem 7 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 B1 B2 B3 Upper approximation defines the set of all objects in Bi | Bi ∩ balls_class ≠ Upper approximation set= {B1 U B2 U B3} Lower approximation is an union of all objects in Bi | Bi balls_class Lower approximation set= {B1}

8 Lower approximation is too restrictive and Upper approximation may be too permissive to represent the objects in the ball_class 8 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 B3 Upper α approximation defines a set of Bi | Bi ∩ balls_class ≠ and the ratio of Bi ∩ ball_class and |ball_class|are ≥ α Upper α approximation set = {B1 U B2} B2 B1

9 Now the rules are derived for the ball_class taking into account the information in Upper α set and the sets B1 and B2: 9 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class Low medium high large small B1 B2

10 The same process is carried out for the x_class: 10 B4 o o x o o o o o o o o o o o x x x x x o o o o x x x o x o o f1 f2 Upper α = {B4} R3: if f1 is low then x_class Low medium high large small

11 The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evience to classify the object” The clause else is executed If (1 – max{µR1, µR2, µR3}) if maximal or If max{µR1, µR2} = max{µR3} 11

12 How to classify a new object ? 12 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small µf1 low = 0; f1: µf1 medium = 0.3; µf1 high = 0.9 µf2 small = 1; µf2 large = 0

13 The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evidence to classify the object” 13 µf1 low = 0; f1: µf1 medium = 0.3; µf1 high = 0.9 µf2 small = 1; µf2 large = 0 R1: 0.9 R2: 0 R3: 0 R4: 1 – 0.9 = 0.1 The new object is classified as ball

14 How to classify a new object ? 14 o o x o o o o o o o o o o o x x x x x x o o o x x x o x o o f1 f2 Low medium high large small µf1 low = 1; f1: µf1 medium = 0; µf1 high = 0 µf2 small = 0; µf2 large = 1

15 The classifier system R1: If f1 is high then ball_class R2: If f1 is medium and f2 is large then ball_class R3: if f1 is low then x_class Else “no evidence to classify the object” 15 µf1 low = 1; f1: µf1 medium = 0 ; µf1 high = 0 µf2 small = 0; µf2 large = 1 R1: 0 R2: 0 R3: 1 R4: 1 – 1.0 = 0 The new object is classified as x

16 Challenges --How to choose the candidates for granules of the knowledge (subsets of relevant attributes)???? 16 --How to choose the fuzzy partitions??? In this work we have used apriori algorithm In this work we have used fixed partitions.

17 The proposed method  Generates fuzzy rules automatically with the aim of pattern classification: ○ Concise rules; ○ Reduced number of rules; ○ High classification precision rate.  Make it possible to designs a classification system based on the fuzzy rules that is able to distinguish between evidence and ignorance in the pattern classification.  The approach make it possible to understand how a given dataset is clusterized. 17

18 Some experiments  Cross validation method: 10-fold;  α = 0.90,  support = 7% (a priori has been used to define the relevant granules of the knowledge);  Bases UCI Machine Learning Repository e resultados : 18 dataset# objects # conditional attributes#classes # partitions Iris150434 Wine1791336 Wdbc 15691028 Wdbc 25693028 Wpbc6691028

19 Results 19 Data set Precision Rate (%) Average number of NE Average Number of rules Avarage Number of Terms Iris1,000,802,401,30 Wine0,990,268,161,64 Wdbc 10,974,855,11,16 Wdbc 20,930,0012,151,58 Wpbc0,931,4534,11,94 NE = No evidence to classify

20 Comparison of Results 20

21 Comparison of Results 21

22 Comparison of Results 22

23 Comparison of Results 23

24 Comparison of Results 24

25 Comparison of Results 25

26 Ongoing projects  Development of shape descriptors for 3D space using decomposition of the image and Hilbert curve; 26

27 Bases de dados – kimia99 Dataset: Kimia 99 (subset of MPEG-7) 9 classes with 11 images each one

28 Dataset: Kimia216 (subset of MPEG-7) 18 classes with 12 images each one de dados – Kimia216

29 Dataset: MPEG-7 70 classes with 20 images each one

30 Dataset: w720 (objects are rotated 5º - 10 classes with 72 images each one

31 Dataset: breast cancer dataset 2 classes: 65 benign masses and 46 malignant tumors

32 Ongoing projects  Classification using Neural Network 32 Base de ImagensAUC Breast cancer (diagnosis)0.9921 Kimia991.0000 Kimia2161.0000 W720 (rotated shapes)0.9999 MPEG-70.9578

33 Ongoing projects  Development an unsupervised and automatic method to derive fuzzy partitions based on fuzzy k_means;  Building a bag of visual features based on decomposition of a given dendogram with the aim of content-based image retrieval;  Detection of key frames in video based on bag of visual features. 33

34 34 Colaborators Agma J. Traina – ICMC – USP Caetano Traina – ICMC – USP Solange Resende – ICMC – USP Celso Saibel - UFBA Ricardo Marcacini – ICMC – USP Robson Soares – FACOM – UFU Alan Genari – FACOM – UFU Walter de Oliveira – FACOM – UFU Carlos – DCC - UFMG Ivo Silva – FACOM - UFU Thank you for the attention!!!

35 Discussão de resultados– Teste 1  Remoção das amostras não classificáveis no treino.  Teste com as amostras de treino originais. Observaçõs 1 : O número de amostras não classificáveis foi mantido o mesmo para todas as bases de dados. Amostras não classificáveis não modificam o conjunto de regras gerado. 35

36 Discussão de resultados – Teste 2 Remoção das amostras não classificáveis no treino. Teste com as amostras de teste originais. 36 IRISbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador100% BayesNet92,66%94,83% Decision Table92,66%95,05% J4896,03%95,10% LibSVM96,03%95,10% Multilayer Perceptron97,33%95,10%

37 Discussão de resultados – Teste 2 37 WINEbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador99,04%98,80% BayesNet98,76%97,69% Decision Table92,90%94,62% J4894,33%94,98% LibSVM97,76%98,22% Multilayer Perceptron97,03%97,69%

38 Discussão de resultados – Teste 2 38 WDBC 1 (10 CARACTÍSTICAS)base com todas amostrasbase sem amostras não-classificáveis Nosso Classificador97,45%96,19% BayesNet92,40%92,18% Decision Table93,15%91,28% J4892,65%92,84% LibSVM93,80%93,56% Multilayer Perceptron93,70%93,31%

39 Discussão de resultados – Teste 2 39 WPBCbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador97,59% BayesNet96,30%96,84% Decision Table92,65%93,78% J4893,85%93,68% LibSVM96,05%96,46% Multilayer Perceptron95,80%95,30%

40 Discussão de resultados – Teste 3  Remoção de todas as amostras não classificáveis da base de dados original.  Realização de validação 10-fold normalmente para esta segunda base de dados obtida. 40

41 Discussão de resultados – Teste 3 IRISbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador100%100,00% BayesNet92,66%96,43% Decision Table92,66%95,63% J4896,03%95,63% LibSVM96,03%92,56% Multilayer Perceptron97,33%96,96% 41

42 Resultados – Teste 3 WINEbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador99,04%99,10% BayesNet98,76% Decision Table92,90%97,70% J4894,33%97,30% LibSVM97,76%96,50% Multilayer Perceptron97,03%100,00% 42

43 Discussão de resultados – Teste 3 WPBCbase com todas amostrasbase sem amostras não-classificaveis Nosso Classificador93,09%93,12% BayesNet96,30%96,65% Decision Table92,65%96,00% J4893,85%96,70% LibSVM96,05%96,60% Multilayer Perceptron95,80%98,60% 43

44 Discussão de resultados – Teste 3 WDBC 1 (10 CARACTERÍSTICAS)base com todas amostrasbase sem amostras não-classificaveis Nosso Classificador97,45%97,76% BayesNet92,40%93,60% Decision Table93,15%94,65% J4892,65%94,35% LibSVM93,80%94,10% Multilayer Perceptron93,70%95,80% 44

45 Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 45

46 Conclusões  Método proposto apresenta alta precisão de classificação para as bases de teste utilizadas;  Método gera regras concisas (Rosetta – quick reduct) e com alta taxa de cobertura;  Classificador capaz de discernir entre a ignorância e a evidência no processo de classificação; 46

47 Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 47

48 Principais contribuições  Proposta de uma extensão para as operações de aproximação definidas na TRS, denominada aproximação alpha de X;  Proposta de um método para geração automática de regras baseado na teoria dos rough sets;  Proposta de um sistema de classificação capaz de discernir quanto a evidência ou ignorância no processo de classificação. 48

49 Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 49

50 Trabalhos Futuros  Desenvolvimento de um método para obtenção automática da partição fuzzy;  Realização de testes em bases de dados mais volumosas. 50

51 Agenda  Introdução;  Objetivos do trabalho;  Conceitos básicos sobre a Teoria dos Rough Sets;  Método proposto para geração automática de regras;  Sistema de classificação baseado em regras;  Exemplo ilustrativo;  Discussão de resultados;  Conclusões;  Principais contribuições;  Trabalhos Futuros;  Publicações. 51

52 Publicações  SANTOS, J.C.S. and GULIATO, D. Proposta de um método para geração automática de regras fuzzy baseada na teoria dos rough sets. Clei’09 : Conferência Latino America de Informática, 2009.  GULIATO D. and SANTOS, J.C.S. Granular computing and rough sets to generate fuzzy rules. In ICIAR’09: Proceedings of the 6th International Conference on Image Analysis and Recognition, pp. 317–326, Berlin, Heidelberg, 2009. Springer-Verlag. 52

53 Agradecimentos  Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq);  Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG);  Coordenação de Aperfeiamento de Pessoal de Nível Superior (CAPES). 53

54 Obrigado ! 54