Redes de Funções de Base Radial Radial Basis Functions (RBFs) Germano C. Vasconcelos Centro de Informática - UFPE ©2000 Germano Vasconcelos

F  comb. linear de funções de base radial Introdução “Em uma RBF, a rede é definida do ponto de vista de um problema de aproximação de funções” Uma superfície F no espaço multidimensional é definida como uma combinação linear de funções de base radial F  comb. linear de funções de base radial ©2000 Germano Vasconcelos

Estrutura de uma RBF 1|X-C1| Cj w1 2|X-C2| w2 w3 3|X-C3| wk camada intermediária camada de entrada 1|X-C1| Cj w1 x1 2|X-C2| camada de saída w2 x2 w3 3|X-C3| Y=F(X) wk F(X)=jwj.j|X-Cj| xn w0 k|X-Cn| bias ©2000 Germano Vasconcelos

Características das RBFs Estrutura do tipo feedforward com uma mistura de treinamento supervisionado e não-supervisionado Normalmente uma camada de neurônios que computam as funções de base radial Os pesos na camada intermediária representam centroids Os pesos na camada de saída ponderam as saídas da camada intermediária ©2000 Germano Vasconcelos

Características das RBFs São aproximadores universais de funções Estimam a probabilidade a posteriori do ponto de vista Bayesiano Apresentam requerimentos de memória em geral mais altos que redes do tipo MLP ©2000 Germano Vasconcelos

Características das RBFs Estratégias de treinamento diferentes para as funções radiais, os centroids e os pesos da camada de saída Regra de propagação = função radial Ex: Distância Euclideana  netj = |X-C| =  (xi - ci)2 Função de ativação = função local Ex: Gaussiana  oj = f(netj) = exp(- netj2/cj2) ©2000 Germano Vasconcelos

Trabalhos com RBFs Broomhead & Lowe (1988) Moody & Darken (1989) Poggio & Girosi (1990) Niranjan & Fallside (1990) E muitos outros ... ©2000 Germano Vasconcelos

Treinamento Três conjuntos de parâmetros a serem estimados As larguras d das funções básicas Os centros Cj Os pesos Wji da camada de saída ©2000 Germano Vasconcelos

As Larguras d Valor definido a priori Técnica de gradiente descendente Heurística do vizinho mais próximo ©2000 Germano Vasconcelos

Os Centros Cj Distribuir uniformemente ou aleatoriamente Tomar uma amostra do conjunto de treinamento Método não supervisionado de agrupamento (clustering) Gradiente descendente ©2000 Germano Vasconcelos

Pesos Wji na Camada de Saída Processo de otimização linear Solução de mínimo global Mínimo Erro Quadrado (LMS) Newton-like Method Esquema de Correção de Erros Procedimento direto Manipulação de matrizes ©2000 Germano Vasconcelos

Manipulação de Matrizes (Pseudo-inverse method) E[f] =  np (yp – f(xp ))2 \ f(xp) =  wj.  (|xp – cj|) W = (GT . G +  Go )-1 . GT. Y onde... ©2000 Germano Vasconcelos

G= Go=  (|x1 – c1|)  (|x1 – c2|) ... (|x1 – c3|)  (|x2 – c1|)  (|x2 – c2|) ... (|x2 – ck|)  (|xp – c1|)  (|xp – c2|) ... (|xp – ck|) G=  (|c1 – c1|)  (|c1 – c2|) ... (|c1 – c3|)  (|c2 – c1|)  (|c2 – c2|) ... (|c2 – ck|)  (|cp – c1|)  (|cp – c2|) ... (|cp – ck|) Go= ©2000 Germano Vasconcelos

Treinamento por Gradiente Descendente 1. Camada de saida  E(n)/ Wi(n) = ej(n).  (||xi – ti(n)||ci) Wi (n+1) = Wi(n) - 1  E(n)/ Wi(n) i=1,2…,M ©2000 Germano Vasconcelos

Treinamento por Gradiente Descendente 2. Centros  E(n)/ ti(n) = 2 Wi ej(n). ’(||xj – tj(n)||ci) -1 [xj – tj(n)] ti (n+1) = ti(n) - 2  E(n)/ ti(n) i=1,2…,M ©2000 Germano Vasconcelos

Treinamento por Gradiente Descendente 3. Larguras das funções  E(n)/  -1 i(n) = -Wi ej(n). ’(||xj – tj(n)||ci) Qji(n) Qji(n) = [xj – ti(n)] [xj – ti(n)] T ci-1i (n+1) = -1i (n) - 3  E(n)/  -1i (n) i=1,2…,M ©2000 Germano Vasconcelos

RBFs Construtivas Um conjunto de modelos RBFs tem sido desenvolvidos dentro do paradigma construtivo... DDA (Dynamic Decay Adjustment) Berthold & Diamond (1995) ©2000 Germano Vasconcelos

Princípio de Funcionamento do Algoritmo DDA B + A - novo padrão de entrada - classe A Ver Berthold & Diamond - NIPS’7 ©2000 Germano Vasconcelos

Funcionamento do Algoritmo DDA Ver Berthold & Diamond - NIPS’7 ©2000 Germano Vasconcelos

Aplicações Reconhecimento de voz Diagnose médica Reconhecimento de caracteres Análise de crédito Reconhecimento de alvos Classificação de fonemas Previsão e controle ©2000 Germano Vasconcelos

Um Problema Potencial com uma RBF Considere a figura abaixo: Mostre que é possível para uma RBF com duas entradas, duas unidades intermediárias e duas saídas definir superfícies de decisão como mostradas. Uma superfície fechada é definida para uma das classes; para a outra classe a superfície é aberta. ©2000 Germano Vasconcelos