Redes de Funções de Base Radial Radial Basis Functions (RBFs)

Apresentação em tema: "Redes de Funções de Base Radial Radial Basis Functions (RBFs)"— Transcrição da apresentação:

1 Redes de Funções de Base Radial Radial Basis Functions (RBFs)
Germano C. Vasconcelos Centro de Informática - UFPE ©2000 Germano Vasconcelos

2 F  comb. linear de funções de base radial
Introdução “Em uma RBF, a rede é definida do ponto de vista de um problema de aproximação de funções” Uma superfície F no espaço multidimensional é definida como uma combinação linear de funções de base radial F  comb. linear de funções de base radial ©2000 Germano Vasconcelos

3 Estrutura de uma RBF 1|X-C1| Cj w1 2|X-C2| w2 w3 3|X-C3| wk
camada intermediária camada de entrada 1|X-C1| Cj w1 x1 2|X-C2| camada de saída w2 x2 w3 3|X-C3| Y=F(X) wk F(X)=jwj.j|X-Cj| xn w0 k|X-Cn| bias ©2000 Germano Vasconcelos

4 Características das RBFs
Estrutura do tipo feedforward com uma mistura de treinamento supervisionado e não-supervisionado Normalmente uma camada de neurônios que computam as funções de base radial Os pesos na camada intermediária representam centroids Os pesos na camada de saída ponderam as saídas da camada intermediária ©2000 Germano Vasconcelos

5 Características das RBFs
São aproximadores universais de funções Estimam a probabilidade a posteriori do ponto de vista Bayesiano Apresentam requerimentos de memória em geral mais altos que redes do tipo MLP ©2000 Germano Vasconcelos

6 Características das RBFs
Estratégias de treinamento diferentes para as funções radiais, os centroids e os pesos da camada de saída Regra de propagação = função radial Ex: Distância Euclideana  netj = |X-C| =  (xi - ci)2 Função de ativação = função local Ex: Gaussiana  oj = f(netj) = exp(- netj2/cj2) ©2000 Germano Vasconcelos

7 Trabalhos com RBFs Broomhead & Lowe (1988) Moody & Darken (1989)
Poggio & Girosi (1990) Niranjan & Fallside (1990) E muitos outros ... ©2000 Germano Vasconcelos

8 Treinamento Três conjuntos de parâmetros a serem estimados
As larguras d das funções básicas Os centros Cj Os pesos Wji da camada de saída ©2000 Germano Vasconcelos

9 As Larguras d Valor definido a priori Técnica de gradiente descendente
Heurística do vizinho mais próximo ©2000 Germano Vasconcelos

10 Os Centros Cj Distribuir uniformemente ou aleatoriamente
Tomar uma amostra do conjunto de treinamento Método não supervisionado de agrupamento (clustering) Gradiente descendente ©2000 Germano Vasconcelos

11 Pesos Wji na Camada de Saída
Processo de otimização linear Solução de mínimo global Mínimo Erro Quadrado (LMS) Newton-like Method Esquema de Correção de Erros Procedimento direto Manipulação de matrizes ©2000 Germano Vasconcelos

12 Manipulação de Matrizes (Pseudo-inverse method)
E[f] =  np (yp – f(xp ))2 \ f(xp) =  wj.  (|xp – cj|) W = (GT . G +  Go ) GT. Y onde... ©2000 Germano Vasconcelos

13 G= Go=  (|x1 – c1|)  (|x1 – c2|) ... (|x1 – c3|)
 (|x2 – c1|)  (|x2 – c2|) ... (|x2 – ck|)  (|xp – c1|)  (|xp – c2|) ... (|xp – ck|) G=  (|c1 – c1|)  (|c1 – c2|) ... (|c1 – c3|)  (|c2 – c1|)  (|c2 – c2|) ... (|c2 – ck|)  (|cp – c1|)  (|cp – c2|) ... (|cp – ck|) Go= ©2000 Germano Vasconcelos

14 Treinamento por Gradiente Descendente
1. Camada de saida  E(n)/ Wi(n) = ej(n).  (||xi – ti(n)||ci) Wi (n+1) = Wi(n) - 1  E(n)/ Wi(n) i=1,2…,M ©2000 Germano Vasconcelos

15 Treinamento por Gradiente Descendente
2. Centros  E(n)/ ti(n) = 2 Wi ej(n). ’(||xj – tj(n)||ci) -1 [xj – tj(n)] ti (n+1) = ti(n) - 2  E(n)/ ti(n) i=1,2…,M ©2000 Germano Vasconcelos

16 Treinamento por Gradiente Descendente
3. Larguras das funções  E(n)/  -1 i(n) = -Wi ej(n). ’(||xj – tj(n)||ci) Qji(n) Qji(n) = [xj – ti(n)] [xj – ti(n)] T ci-1i (n+1) = -1i (n) - 3  E(n)/  -1i (n) i=1,2…,M ©2000 Germano Vasconcelos

17 RBFs Construtivas Um conjunto de modelos RBFs tem sido desenvolvidos dentro do paradigma construtivo... DDA (Dynamic Decay Adjustment) Berthold & Diamond (1995) ©2000 Germano Vasconcelos

18 Princípio de Funcionamento do Algoritmo DDA
B + A - novo padrão de entrada - classe A Ver Berthold & Diamond - NIPS’7 ©2000 Germano Vasconcelos

19 Funcionamento do Algoritmo DDA
Ver Berthold & Diamond - NIPS’7 ©2000 Germano Vasconcelos

20 Aplicações Reconhecimento de voz Diagnose médica
Reconhecimento de caracteres Análise de crédito Reconhecimento de alvos Classificação de fonemas Previsão e controle ©2000 Germano Vasconcelos

21 Um Problema Potencial com uma RBF
Considere a figura abaixo: Mostre que é possível para uma RBF com duas entradas, duas unidades intermediárias e duas saídas definir superfícies de decisão como mostradas. Uma superfície fechada é definida para uma das classes; para a outra classe a superfície é aberta. ©2000 Germano Vasconcelos