A Validity Measure for Hard and Fuzzy Clustering Derived from Fishers Linear Discriminant Cláudia R. de Franco Leonardo da S. Vidal Adriano J. de O. Cruz.

Apresentação em tema: "A Validity Measure for Hard and Fuzzy Clustering Derived from Fishers Linear Discriminant Cláudia R. de Franco Leonardo da S. Vidal Adriano J. de O. Cruz."— Transcrição da apresentação:

1 A Validity Measure for Hard and Fuzzy Clustering Derived from Fishers Linear Discriminant Cláudia R. de Franco Leonardo da S. Vidal Adriano J. de O. Cruz May 2002

2 Topics Validity Measures Finding the number and the distribution of clusters Pattern Recognition Identify and classify patterns

3 Índice Estudo Realizado Categorização Classificação Validação de Categorias Propostas EFLD ICC Sistema ICC-KNN

4 Estudo Realizado Categorização Classificação Validação de Categorias

5 Categorização Processo de particionar um conjunto de amostras em subconjuntos (categorias) Dados similares entre si por suas características Disposição Espacial Categoria definida pela proximidade das amostras – Distância Partições Rígidas e Nebulosas

6 Classificação Técnica que associa amostras a classes previamente conhecidas Rígida e Nebulosa Supervisionados MLP treinamento Não supervisionados K-NN e K-NN nebuloso sem treinamento

7 Reconhecimento de Padrões Reconhecimento de Padrões + Categorização Sistema Estatístico Não paramétrico de Reconhecimento de Padrões Estatístico avalia a similaridade dos dados através de medidas matemáticas Não-Paramétrico sem conhecimento prévio da distribuição das amostras

8 Denominação de Características Extração de Características Identificação de Características Categorização Validação de Categorias Classificador Dados de Treinamento Dados de Teste Taxa de erro Sistema Estatístico Não-Paramétrico de Reconhecimento de Padrões

9 Métodos de Categorização Não-Hierárquicos Dados distribuídos pelo número de categorias pré-definido Critério é otimizado Minimização da variação interna das categorias

10 Métodos de Categorização Hierárquico 1ª Abordagem Cada ponto é um centro de categoria Cada 2 pontos mais próximos são fundidos em uma categoria Número de categorias desejado é atingido Hierárquico 2ª Abordagem Uma categoria contém todas as amostras Critério é utilizado para dividí-la no número de categorias desejado

11 Métodos de Categorização Rígidos Cada amostra pertence a uma única categoria Nebulosos Cada amostra pertence a todos os agrupamentos com diferentes graus de afinidade Grau de inclusão

12 Métodos de Categorização k-Means K-NN e K-NN nebuloso FCM FKCN GG GK

13 Métodos de Categorização K-Means e FCM Distância Euclidiana Hiperesferas Gustafson-Kessel Distância de Mahalanobis Hiperelipsóides Gath-Geva Distância de Gauss superfícies convexas de formato indeterminado

14 Rede Kohonen de Categorização Nebulosa FKCN Método de Categorização Nebuloso não supervisionado Distância Euclidiana Categorias hiperesféricas Converge mais rápido que FCM Forte tendência a convergir para mínimos locais Categorias pouco representam as classes

15 K-NN e K-NN nebuloso Métodos de Classificação Classes identificadas por padrões Classifica pelos k vizinhos mais próximos Conhecimento a priori das classes do problema Não se restringe à uma distribuição específica das amostras

16 K-NN Rígido w1w1 w2w2 w3w3 w4w4 w 13 w 10 w9w9 w 14 w5w5 w8w8 w 12 w 11 w6w6 w7w7 Classe 1 Classe 2 Classe 3 Classe 4Classe 5

17 K-NN Nebuloso w1w1 w2w2 w3w3 w4w4 w 13 w 10 w9w9 w 14 w5w5 w8w8 w 12 w 11 w6w6 w7w7 Classe 1 Classe 2 Classe 3 Classe 4Classe 5

18 Medidas de Validação

19 Validity Measures Used to find the ideal number of clusters that represent the sample space. Number of classes unknown Number of classes Number of clusters

20 Validity Measures Applied to the partitions generated by the clustering algorithm Measure the quality of the partitions Crisp or Fuzzy

21 Coeficiente de Partição – F Medida de Validação Nebulosa Maximizar – 1/c F 1 Diretamente influenciada pelo Número de categorias e Sobreposição das classes

22 Compacidade e Separação – CS Medida de Validação Nebulosa Minimizar – 0 CS Avalia diferentes funções objetivo

23 Compacidade e Separação – CS Mede: O grau de separação entre as categorias A compacidade das categorias Não sofre influência da sobreposição das categorias Maior taxa de acertos dentre as medidas de validação estudadas

24 Discriminante Linear de Fisher - FLD Crisp Validity Measure Measures the compactness and separation of the partitions produced by crisp clustering techniques Between-Class Scatter Matrix – S B Within-Class Scatter Matrix Scatter – S W

25 Discriminante Linear de Fisher - FLD Critério J – Maximizado

26 Indicadores de Validade Calculam o grau de separação entre as categorias Menor a sobreposição das categorias melhor a categorização obtida MinRF, MaxRF e MinNMMcard

27 Propostas EFLD ICC Sistema ICC-KNN

28 EFLD

29 Extended Fisher Linear Discriminant Capable of validate crisp and fuzzy clusters

30 EFLD Extended between-classes scatter matrix m ei is the centroid of cluster i and

31 EFLD Extended within-class scatter matrix Extended total scatter matrix

32 EFLD It can be proved that if the sum of all membership values of any element is equal to one then the total scattering is independent of the partition

33 EFLD Extended Fisher Linear Discriminant Determinants impose limits on the minimum number of points of each cluster Trace - faster No limitations due to the number of points

34 EFLD – Otimização Matrix traces are the product of a column vector by its transpose Trace is equal to the square of the module of this vector

35 EFLD – Improving Sum of both traces ( S Be and S we ) is constant s T is evaluated only once Calculating s Be is faster than s We

36 EFLD – Improving So EFLD can be rewritten as Faster to evaluate Find the maximum value of J e

37 EFLD – testing Three classes, 500 point each X1 – (1,1), (6,1), (3,5, 7) with Std 0,3 X2 – (1,5, 2,5), (4,5, 2,5), (3,5, 4,5) with Std 0,7 Apply FCM to m = 2 and c = 2...6

38 EFLD – Aplication EFLD Number of Clusters 23456 X14,68154,91360,29430,25590,3157 X20,32710,85890,87570,96081,0674 For superposed classes, J e, like J (FLD), is not a good measure Behaviour similar to FLD

39 EFLD – Aplication Alocação errônea dos centros Mínimo local = Ponto médio do conjunto de pontos J e extremamente pequeno = 9,8010 x 10 -5

40 ICC

41 ICC – Inter Class Contrast EFLD Increases as the number of clusters rises. Increases when classes have high degree of overlapping. Reaches maximum for a wrong number of clusters.

42 ICC Evaluates a crisp and fuzzy clustering algorithms Measures: Partition Compactness Partition Separation ICC must be Maximized

43 ICC s Be – estimates the quality of the placement of the centres. 1/n – scale factor Compensates the influence of the number of points in s Be

44 ICC D min – minimum Euclidian distance between all pairs of centres Neutralizes the tendency of s Be to grow, avoiding the maximum being reached for a number of clusters greater than the ideal value. When 2 or more clusters represent a class – D min decreases abruptly

45 ICC – square root of the number of clusters Avoids the maximum being reached for a number of clusters below the ideal. When 1 cluster represents two or more classes - D min increases

46 ICC – Fuzzy Application Five classes with 500 points each No class overlapping X1 – (1,2), (6,2), (1, 6), (6,6), (3,5, 9) Std 0,3 Apply FCM for m = 2 and c = 2...10

47 Measures Number of clusters 2345 ICCM 7,59641,9951,9296,70 ICCTraM 7,59641,9951,9296,70 ICCDetM IND154685259791673637 EFLDM0.1850.9861.87713.65 EFLDTraM 0,1850,9861,87713,65 EFLDDet M IND0,9553,960182,70 CSm 0,3500,0960,0700,011 FM 0,7050,7130,7950,943 MinHTM 0,6470,5722,1241,994 MeanHTM 0,5190,4961,3271,887 MinRF0 0,1000,31600

48 Time Number of Categories 2345 ICC0,00610,00690,00820,0091 4 ICCTra0,00780,00600,00880,0110 ICCDet0,01100,00880,01100,0132 EFLD 0.00530.00710.00630.0080 EFLDTra0,76781,08701,47801,8982 EFLDDet0,78001,13921,55102,0160 CS0,02260,02610,03820,0476 NFI0,00610,00560,00580,0060 3 F0,00440,00450,00490,0049 1 FPI0,00610,00450,00490,0053 2

49 ICC – Fuzzy Application Five classes with 500 points each High cluster overlapping X1 – (1,2), (6,2), (1, 6), (6,6), (3,5, 9) Std 0,3 Apply FCM for m = 2 and c = 2...10

50 Measures234510 ICCM 5,0654,9386,1917,8295,69 ICCTraM 5,0654,9386,1917,8295,69 ICCDetM IND715,19357270486024 EFLDM0.4500.5850.8391.0951.344 EFLDTraM 0,4500,5850,8391,0951,344 EFLDDet M IND0,0490,3150,7431,200 CSm 0,1640,2250,1910,1220,223 FM 0,7540,6210,5910,5860,439 MeanHTM 0,6320,4850,5500,5970,429 MinRF0 0,1700,2940,1940,2100,402 MPEm 0,5680,6010,5610,5250,565

51 Time Number of Clusters 2345 ICC0,00600,00640,00770,0088 1 ICCTra0,00660,00600,00980,0110 ICCDet0,01100,00780,01100,0120 EFLD 0.00630.00880.00960.0110 EFLDTra0,79302,10381,75982,2584 EFLDDet0,97201,25801,60901,8450 CS0,02200,02830,03620,0590 3 F0,01120,01210,00610,0164 MPE0,01670,02710,03190,0397 2

52 Medidas45678 ICCM81,8485105,446315,098714,889113,4127 DLFM5,902167,26272,35477,41379,549 CSm0,11950,01210,65930,741316,1588 Tempos45678 ICC0,00740,0080 1 0,00850,00930,0102 DLF1,32161,67842,03242,30022,6140 CS0,03080,0377 2 0,04370,05020,0569

53 ICC – Aplicação Rígida Medidas45678 ICCM15,582318,194013,446113,391314,9289 DLFM2,91764,82585,42576,07816,8428 CSm0,24880,18980,39280,43380,3717 Tempos45678 ICC0,00740,0099 1 0,01020,01150,0135 DLF1,32581,65341,98502,32882,6166 CS0,03210,0382 2 0,04540,05160,0582

54 ICC – Conclusões Rápida e Eficiente Analisa partições Nebulosas e Rígidas Eficiente com alta sobreposição das classes Alta taxa de acertos

55 ICC-KNN

56 Sistema ICC-KNN Sistema Estatístico Não-Paramétrico de Reconhecimento de Padrões Associa FCM, KNN nebuloso e ICC Avaliar dados dispostos em diversos formatos de classes

57 Sistema ICC-KNN Módulo de Classificação Estabelecer estruturas nos dados Primeira Fase de Treinamento Avalia a melhor distribuição de padrões para o K-NN nebuloso FCM – Aplicado para cada classe ICC – Encontra o melhor número de categorias que representa cada classe

58 Sistema ICC-KNN Segunda Fase de Treinamento Avalia a melhor constante nebulosa e o melhor número de vizinhos para o K-NN – maior performance Varia-se m e k Escolhe-se m e k para a maior taxa de Acertos Rígidos

59 Sistema ICC-KNN Módulo de Reconhecimento de Padrões Atribuir os dados às classes definidas Utiliza os padrões, m e k para classificar os dados

60 Sistema ICC-KNN Classe 1 Classe s FCM ICC K-NN nebuloso m k W, U w W U w w1w1 wsws U 1cmin U 1cmáx U Scmin U Scmáx K-NN nebuloso Módulo de Classificação Módulo de Reconhecimento de Padrões Dados não classificados

61 Sistema ICC-KNN - Algoritmo Módulo de Classificação Primeira fase do Treinamento Passo 1. Fixar m Passo 2. Fixar cmin e cmáx Passo 3. Para cada classe s conhecida Gerar o conjunto Rs com os pontos de R pertencentes à classe s Para cada categoria c no intervalo [cmin, cmáx] Executar FCM para c e o conjunto Rs gerando Usc e Vsc Calcular a ICC para Rs e Usc Fim Definir os padrões ws da classe s como a matriz Vsc que maximiza a ICC Passo 4. Gerar o conjunto W = {w1,..., ws}

62 Sistema ICC-KNN - Algoritmo Segunda fase do Treinamento Passo 5. Fixar mmin e mmáx Passo 6. Fixar kmin e kmáx Para cada m do intervalo [mmin, mmáx] Para cada k do intervalo [kmin, kmáx] Executar o K-NN nebuloso para os padrões do conjunto W, gerando Umk Calcular os acertos rígidos para Umk Passo 7. Escolher o m e k que obtêm a maior taxa de acertos rígidos Passo 8. Se houver empate Se os k são diferentes Escolher o menor k Senão Escolher o menor m

63 Sistema ICC-KNN - Algoritmo Módulo de Reconhecimento de Padrões Passo 9. Aplicar o K-NN nebuloso com os padrões do conjunto W e os parâmetros m e k escolhidos aos dados a serem classificados

64 Sistema ICC-KNN - Avaliação 2000 amostras, 4 classes, 500 amostras em cada classe Classe 1 e 4 – classes côncavas Classes 2 e 3 – classes convexas com formato elíptico

65 Sistema ICC-KNN - Avaliação Primeira Fase de Treinamento FCM aplicado a cada classe Dados de treinamento 80% 400 amostras c = 3..7 e m = 1,25 ICC aplicada aos resultados Classes 1 e 4 4 categorias Classes 2 e 3 3 categorias

66 Sistema ICC-KNN - Avaliação Segunda Fase de Treinamento Execução do K-NN Nebuloso Padrões da PFT Padrões Aleatórios k = 3 a 7 vizinhos m = {1,1; 1,25; 1,5; 2}

67 Sistema ICC-KNN - Avaliação Conclusão: K-NN é mais estável em relação ao valor de m para os padrões da PFT

68 Sistema ICC-KNN - Avaliação Dados de Treinamento Classes Padrões da PFTPadrões Aleatórios 12341234 13881002213660121 214379071938001 300376243032473 40123974461349 Dados de Treinamento Linhas classes Colunas classificação m = 1,5 e k = 3 96,25% m = 1,1 e k = 3 79,13% (padrões aleatórios)

69 Sistema ICC-KNN - Avaliação Dados de Teste Módulo de Reconhecimento de padrões Execução do K-NN nebuloso nos dados de teste Pad. PFT – 94,75% Pad. Aleat – 79% Dados de Testes Classes Padrões da PFTPadrões Aleatórios 12341234 1972015327020 24930349600 3009010008218 400199015085

70 Sistema ICC-KNN - Avaliação Tempos de Execução Padrões da PFT 36,5 s PFT FCM + ICC= 15,5 s SFT 21,04 s Total 36,5 s Aleatório 23,11s

71 Sistema ICC-KNN - Avaliação Acerto Nebuloso grau de inclusão > 1/k

72 ICC-KNN x Mét. de Categorização FCM, FKCN, GG e GK Fase de Treinamento (FTr) Dados de treinamento c = 4 e m = {1,1; 1,25; 1,5; 2} Associar as categorias às classes Critério do somatório dos graus de inclusão Cálculo do somatório dos graus de inclusão dos pontos de cada classe em cada categoria Uma classe pode ser representada por mais de uma categoria

73 ICC-KNN x Mét. de Categorização Fase de Teste Dados de Teste Inicialização dos métodos com os centros da FTr Calcula o grau de inclusão dos pontos em cada categoria Classe representada por mais de 1 categoria Grau de inclusão = soma dos graus de inclusão dos pontos nas categorias que representam a classe

74 GK para m = 2 84% FCM e FKCN 66% para m = 1,1 e m = 1,25 GG-FCM 69% para m = 1,1 e 1,25 GG Aleatório 57,75% para m = 1,1 e 25% para m = 1,5 ICC-KNN KNN A. FCMFKCNGGGK R 94,75% 79% 66% 69%84% N 95,75% 83% 70,75% 69%89,5% T 36,5s 23,11s 2,91s2,59s22,66s18,14s ICC-KNN x Mét. de Categorização

75 FCM GG-FCM GK

76 Reconhecimento de Dígitos Manuscritos

77 Problema Dígitos manuscritos extraídos de formulários Escaneados imagens do tipo Tiff Algoritmo de Afinamento Esqueleto da imagem Extração de características Método do Polígono 122 características 4077 dígitos 3266 e 811 amostras

78 Aplicação do ICC-KNN PFT FCM m = 1,25 e c = 2..30 0123456789 22291225152625231030 SFT K-NN neb. Padrões da PFT e Aleatórios k = 3..7 e m ={1,1; 1,25; 1,5; 2}

79 Acertos e Tempos MétodosICC-KNNK-NN Neb. Alea. Acertos Ríg.87,8%72,4% Acertos Neb.94,53%85,63% Tempos7166 s1224,3 s Dados de Teste m = 1,25 e k = 7 87,8% 21,3% superior

80 ICC-KNN x Mét. De Categorização Comparação com os Mét. De Categorização FCM, FKCN, GG, GK 122 19 características PCA – Principal Components Analysis Variância preservada 82,6% p(p-1)/2

81 Acertos e Tempos ICC-KNNK-NN A. FCMFKCNGGGK 86,7%75,22% 57%55%51%49% 93,8%85,66% 60%54%39,5%39,8% 1784 s260 s 30,38 s32,79 s108,15 s711,77 s Dados de Teste ICC-KNN 86,7% param = 1,25 e k = 6 FCM 57% para m = 1,25 52% de ganho do ICC-KNN sobre o FCM

82 Acertos Rígidos Pouco estável em relação à m

83 Conclusões EFLD Estendeu eficientemente as funcionalidades do FLD partições rígidas e nebulosas Maior velocidade ICC Eficiente e rápida Suporta alta sobreposição das classes Avalia a compacidade e a separação das classes Alto grau de acertos

84 Conclusões Sistema ICC-KNN Maior eficiência sobre sistemas que usam métodos de categorização Melhor classificação dos dados Facilidade de implementação Não oferece restrições ao conjunto de amostras Taxas superiores no problema de reconhecimento de dígitos manuscritos

85 Trabalhos Futuros ICC-KNN com outros métodos de categorização Variar a constante nebulosa na PFT Empregar redes MLP para avaliar os graus de inclusão gerados pelo ICC-KNN Avaliar as amostras em um espaço dimensional menor