A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

©2000 Germano Vasconcelos Redes de Funções de Base Radial Radial Basis Functions (RBFs) Germano C. Vasconcelos Centro de Informática - UFPE.

Apresentações semelhantes


Apresentação em tema: "©2000 Germano Vasconcelos Redes de Funções de Base Radial Radial Basis Functions (RBFs) Germano C. Vasconcelos Centro de Informática - UFPE."— Transcrição da apresentação:

1 ©2000 Germano Vasconcelos Redes de Funções de Base Radial Radial Basis Functions (RBFs) Germano C. Vasconcelos Centro de Informática - UFPE

2 ©2000 Germano Vasconcelos Introdução Em uma RBF, a rede é definida do ponto de vista de um problema de aproximação de funções Uma superfície F no espaço multidimensional é definida como uma combinação linear de funções de base radial F comb. linear de funções de base radial

3 ©2000 Germano Vasconcelos Estrutura de uma RBF x1x1 Y=F(X) x2x2 xn 2 |X-C 2 | 1 |X-C 1 | 3 |X-C 3 | k |X-C n | bias camada de entrada camada intermediária camada de saída CjCj w1w1 w3w3 wkwk w2w2 w0w0 F(X)= j w j. j |X-C j |

4 ©2000 Germano Vasconcelos Características das RBFs Estrutura do tipo feedforward com uma mistura de treinamento supervisionado e não-supervisionado Normalmente uma camada de neurônios que computam as funções de base radial Os pesos na camada intermediária representam centroids Os pesos na camada de saída ponderam as saídas da camada intermediária

5 ©2000 Germano Vasconcelos Características das RBFs São aproximadores universais de funções Estimam a probabilidade a posteriori do ponto de vista Bayesiano Apresentam requerimentos de memória em geral mais altos que redes do tipo MLP

6 ©2000 Germano Vasconcelos Características das RBFs Estratégias de treinamento diferentes para as funções radiais, os centroids e os pesos da camada de saída Regra de propagação = função radial Ex: Distância Euclideana net j = |X-C| = (x i - c i ) 2 Função de ativação = função local Ex: Gaussiana o j = f(net j ) = exp(- net j 2 /c j 2 )

7 ©2000 Germano Vasconcelos Trabalhos com RBFs Broomhead & Lowe (1988) Moody & Darken (1989) Poggio & Girosi (1990) Niranjan & Fallside (1990) E muitos outros...

8 ©2000 Germano Vasconcelos Treinamento Três conjuntos de parâmetros a serem estimados As larguras d das funções básicas Os centros C j Os pesos W ji da camada de saída

9 ©2000 Germano Vasconcelos As Larguras d Valor definido a priori Técnica de gradiente descendente Heurística do vizinho mais próximo

10 ©2000 Germano Vasconcelos Os Centros C j Distribuir uniformemente ou aleatoriamente Tomar uma amostra do conjunto de treinamento Método não supervisionado de agrupamento (clustering) Gradiente descendente

11 ©2000 Germano Vasconcelos Pesos W ji na Camada de Saída Processo de otimização linear Solução de mínimo global Esquema de Correção de Erros Mínimo Erro Quadrado (LMS) Newton-like Method Procedimento direto Manipulação de matrizes

12 ©2000 Germano Vasconcelos Manipulação de Matrizes (Pseudo-inverse method) E[f] = n p (y p – f(x p )) 2 \ f(x p ) = wj. (|x p – cj|) W = (G T. G + G o ) -1. G T. Y onde...

13 ©2000 Germano Vasconcelos (|x 1 – c 1 |) (|x 1 – c 2 |)... (|x 1 – c 3 |) (|x 2 – c 1 |) (|x 2 – c 2 |)... (|x 2 – c k |) (|x p – c 1 |) (|x p – c 2 |)... (|x p – c k |) G= (|c 1 – c 1 |) (|c 1 – c 2 |)... (|c 1 – c 3 |) (|c 2 – c 1 |) (|c 2 – c 2 |)... (|c 2 – c k |) (|c p – c 1 |) (|c p – c 2 |)... (|c p – c k |) Go=Go=

14 ©2000 Germano Vasconcelos Treinamento por Gradiente Descendente 1. Camada de saida E(n)/ Wi(n) = ej(n). (||x i – ti(n)|| ci ) Wi (n+1) = Wi(n) - 1 E(n)/ Wi(n) i=1,2…,M

15 ©2000 Germano Vasconcelos Treinamento por Gradiente Descendente 2. Centros E(n)/ t i(n) = 2 Wi e j (n). (||x j – t j (n)|| ci ) -1 [x j – t j (n)] t i (n+1) = ti(n) - 2 E(n)/ ti(n) i=1,2…,M

16 ©2000 Germano Vasconcelos Treinamento por Gradiente Descendente 3. Larguras das funções E(n)/ -1 i(n) = -Wi e j (n). (||x j – t j (n)|| ci ) Q ji (n) Q ji (n) = [x j – t i (n)] [x j – t i (n)] T c i -1 i (n+1) = -1 i (n) - 3 E(n)/ -1 i (n) i=1,2…,M

17 ©2000 Germano Vasconcelos RBFs Construtivas Um conjunto de modelos RBFs tem sido desenvolvidos dentro do paradigma construtivo... DDA (Dynamic Decay Adjustment) –Berthold & Diamond (1995)

18 ©2000 Germano Vasconcelos Princípio de Funcionamento do Algoritmo DDA B A + - novo padrão de entrada - classe A Ver Berthold & Diamond - NIPS7

19 ©2000 Germano Vasconcelos Funcionamento do Algoritmo DDA Ver Berthold & Diamond - NIPS7

20 ©2000 Germano Vasconcelos Aplicações Reconhecimento de voz Diagnose médica Reconhecimento de caracteres Análise de crédito Reconhecimento de alvos Classificação de fonemas Análise de crédito Previsão e controle

21 ©2000 Germano Vasconcelos Um Problema Potencial com uma RBF Considere a figura abaixo: Mostre que é possível para uma RBF com duas entradas, duas unidades intermediárias e duas saídas definir superfícies de decisão como mostradas. Uma superfície fechada é definida para uma das classes; para a outra classe a superfície é aberta.


Carregar ppt "©2000 Germano Vasconcelos Redes de Funções de Base Radial Radial Basis Functions (RBFs) Germano C. Vasconcelos Centro de Informática - UFPE."

Apresentações semelhantes


Anúncios Google