A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Rede Neural de Backpropagation 1. Seja t k a k-th saída alvo (desejada) e z k a k-th saída computada para k = 1, …, c Sejam w os pesos da rede Seja net.

Apresentações semelhantes


Apresentação em tema: "Rede Neural de Backpropagation 1. Seja t k a k-th saída alvo (desejada) e z k a k-th saída computada para k = 1, …, c Sejam w os pesos da rede Seja net."— Transcrição da apresentação:

1 Rede Neural de Backpropagation 1

2 Seja t k a k-th saída alvo (desejada) e z k a k-th saída computada para k = 1, …, c Sejam w os pesos da rede Seja net a soma ponderada de entradas de um neurônio Erro de treinamento: A minimização do erro só pode ser feita atuando sobre os pesos das conexões da rede 2 Aprendizagem

3 Seja t k a k-th saída alvo (desejada) e z k a k-th saída computada para k = 1, …, c Sejam w os pesos da rede Seja net a soma ponderada de entradas de um neurônio 3 Notação para a dedução

4 Para minimizar o erro é preciso igualar a zero sua derivada em relação aos pesos Erro é função de net e net é função dos pesos Derivando parcialmente (camada de saída) k mostra a variação do erro com a unidade (neurônio) 4 Minimização do erro

5 A minimização do erro só pode ser feita atuando sobre os pesos das conexões da rede Depois de cada computação de saída de ordem m o erro de treinamento deve ser minimizando modificando esse pesos para a computação de ordem m+1 w(m +1) = w(m) + w(m) Incremento de peso para redução do erro de treinamento, que deve ser minimizado é o coeficiente de aprendizagem 5 Atualização dos pesos das conexões

6 Erro é função da saída z k e z k é função de net como net k = w k t.y A regra de aprendizagem ou atualização de pesos entre a camada de saída e a camada oculta é w kj = k y j = (t k – z k ) f (net k )y j 6 Conexões com a camada de saída

7 A regra de aprendizagem ou atualização de pesos entre a camada oculta e a camada de entrada é semelhante k mostra a variação do erro com o peso da conexão 7 Conexões com a camada oculta

8 Resumo da atualização de pesos Mas Para os pesos entre a camada de saída e a camada oculta o incremento é w kj = k y j = (t k – z k ) f (net k )y j = (t k – z k ) f (net k ) (1- f (net k ))y j Para os pesos entre a camada oculta e a camada de entrada o incremento é 8

9 Derivadas das funções de transferência Para a função logística Para a função tangente hiperbólica f(y) = tanh(y) 9

10 Camada de entrada 1 Camada oculta 2 Camada de saída 3 bias w 2 (0,1) w 3 (0,1) w 2 (0,2) w 2 (2,2) w 2 (2,1) w 2 (1,1) w 2 (1,2) w 3 (2,1) w 3 (1,1) 0,0 Exemplo de backpropagation XOR

11 Seja net a soma ponderada de entradas de um neurônio Sejam as camadas numeradas a partir de 1 (entrada) x c-1 (n) entrada no neurônio n da camada c w k (i,j) peso da conexão entre o neurônio i da camada k-1 e o neurônio j da camada k k (n) parcela a corrigir do nó n na camada k w 2 (0,1) = *x 1 (0)* 2 (1) atualização de pesos Para conexão com a camada de saída 3 (1) = x 3 (1)*(1 - x 3 (1))*(d - x 3 (1)) Para conexão com camada oculta 2 (1) = x 2 (1)*(1 - x 2 (1))*(w 3 (1,1)* 3 (1)+ w 3 (1,1)* 3 (2)) 11 Notação para o exemplo

12 Camada oculta Neurônio 1: w 2 (0,1) = w 2 (1,1) = w 2 (2,1) = Camada oculta Neurônio 2: w 2 (0,2) = w 2 (1,2) = w 2 (2,2) = Camada de saía Neurônio 1: w 3 (0,1) = w 3 (1,1) = w 3 (2,1) = Entrada inicial x 1 (0) = 1 (bias) x 1 (1) = 0 x 1 (2) = 0 12 Exemplo – Inicialização

13 Para a camada oculta os resultados da função somadora são Neurônio 1: (1 * ) + (0 * ) + (0 * ) = Neurônio 2: (1 * ) + (0 * ) + (0 * ) = Aplicando a função de ativação logística temos x 2 (1) = 1/(1+e^( )) = x 2 (2) = 1/(1+e^( )) = Exemplo – Treinamento Forward Camada oculta Neurônio 1: w 2 (0,1) = w 2 (1,1) = w 2 (2,1) = Camada oculta Neurônio 2: w 2 (0,2) = w 2 (1,2) = w 2 (2,2) =

14 A entrada para camada de saída será x 2 (0) = 1 (bias) x 2 (1) = x 2 (2) = Para a camada de saída o resultado da função somadora é Neurônio 1: (1 * ) + ( * ) + ( * ) = Aplicando a função de ativação logística temos x 3 (1) = 1/(1+e^( )) = Exemplo – Treinamento Forward (2) Camada de saía Neurônio 1: w 3 (0,1) = w 3 (1,1) = w 3 (2,1) =

15 O resultado esperado era 0 logo o erro é A diferença a corrigir é dada por No caso em tela 3 (1) = x 3 (1)*(1 - x 3 (1))*(d - x 3 (1)) 3 (1) = x 3 (1)*(1 - x 3 (1))*(d - x 3 (1)) = = * ( )( ) = = x 3 (1) = Exemplo – Treinamento Forward (3)

16 Para os neurônios da camada oculta as diferenças a corrigir são w 3 (1,1) 3 (1) é a diferença a corrigir neurônio 1 w 3 (2,1) 3 (1) é a diferença a corrigir neurônio 2 2 (1) = x 2 (1)*(1 - x 2 (1))*w 3 (1,1)* 3 (1) = * ( )*( )*( ) = (2) = x 2 (2)*(1 - x 2 (2))*w 3 (1,1)* 3 (1) 2 (2) = * ( )*( )*( ) = x 2 (0) = 1 (bias) x 2 (1) = x 2 (2) = (1) = w 3 (1,1) = w 3 (2,1) = Exemplo – Treinamento Backward (1)

17 A atualização dos pesos das conexões é dada por sendo o coeficiente de aprendizagem um amortecedor empírico, no caso com valor igual a 0,5. 17 Exemplo – Treinamento Backward (2)

18 w 2 (0,1) = *x 1 (0)* 2 (1) = 0.5 * 1 * = w 2 (1,1) = *x 1 (1)* 2 (1) = 0.5 * 0 * = 0 w 2 (2,1) = *x 1 (2)* 2 (1) = = 0.5 * 0 * w 2 (0,2) = *x 1 (0)* 2 (2) = 0.5 * 1 * = w 2 (1,2) = *x 1 (1)* 2 (2) = 0.5 * 0 * = 0 w 2 (2,2) = *x 1 (2)* 2 (2) = 0.5 * 0 * = 0 w 3 (0,1) = *x 2 (0)* 3 (1) = 0.5 * 1 * = w 3 (1,1) = *x 2 (0)* 3 (1) = 0.5 * * = w 3 (2,1) = *x 2 (0)* 3 (1) = 0.5 * * = Exemplo – Treinamento Backward (3)

19 Valores atualizados dos pesos das conexões w 2 (0,1) = = 0, w 2 (1,1) = = w 2 (2,1) = = w 2 (0,2) = = 0, w 2 (1,2) = = w 2 (2,2) = = w 3 (0,1) = = 0, w 3 (1,1) = = 0, w 3 (2,1) = = 0, Exemplo – Atualização dos pesos


Carregar ppt "Rede Neural de Backpropagation 1. Seja t k a k-th saída alvo (desejada) e z k a k-th saída computada para k = 1, …, c Sejam w os pesos da rede Seja net."

Apresentações semelhantes


Anúncios Google