Backpropagation Through Time

Apresentação em tema: "Backpropagation Through Time"— Transcrição da apresentação:

1 Backpropagation Through Time
AULA07-BPTT Backpropagation Through Time

2 Introdução São redes recorrentes treinadas como se fosse rede MLP no tempo. Redes que as saídas da rede num tempo (t) são as entradas para o tempo seguinte (t+1). Essas redes são treinadas em vários tempos fazendo cópias da rede, com os mesmos pesos, treinando cada cópia, e então fazendo a média para a atualização dos pesos. Essas redes originalmente introduzidas por Rumelhart, Hinton, e Williams (1986) são chamadas “backpropagation through time” ou “backpropagation recursivo”.

3 Um exemplo simples de rede BPTT

4 Expansão para 3 tempos

5 algoritmo O cálculo da saída da rede é obtido como se a rede expandida fosse uma rede MLP, fornecendo às entradas os valores obtidos nas saídas. É feita a computação do erro para cada tempo. O ajuste de peso para cada tempo é calculado individualmente e totalizado (ou calculado a média) sobre o número de tempos usado no treinamento de um lote. A informação de erro não é necessário para todas as unidades de saída, em todos os tempos. As correções de pesos são computadas sempre que as informações estejam disponíveis.

6 Exemplo : BPTT- registrador de deslocamento
Uma rede sem as unidades escondidas, tendo cada neurônio pesos nas conexões e bias. Os padrões de treinamento consistem de todos os vetores binários de 3 bits. A saída desejada (target) para cada vetor, após 2 tempos, é o padrão deslocado duas posições à esquerda (com circulação – wraparound). Rede expandida

7 Comentários: No caso desse registrador de deslocamento não é necessário a informação do erro no tempo intermediário (tempo 1). Em geral pode ser usada uma combinação de informações de erros do tempo final e de todos os tempos intermediários. No caso do exemplo, é requerido em torno de 200 épocas para treinamento, com uma taxa de aprendizado de 0.25, e os bias restritos para valores negativos. Os resultados desejados são obtidos após um número par de tempos.

8 Exemplo 2: senóide amortecido
f(t) t

9 A entrada da rede representa valores da função em vários tempos anteriores, e a saída é o valor atual da função. No exemplo tem-se 4 unidades de entrada e 5 unidades escondidas. O número de unidades escondidas depende da frequência da oscilação. Para , 7 unidades de entrada são suficientes. Para , a rede pode ser de 10 unidades de entrada e 10 unidades escondidas. No tempo t, x1 recebe o valor computado f(t-1) de y; x2 recebe o valor f(t-2), de x1; x3 recebe f(t-3) de x2; e x4 recebe f(t-4) de x3.

10 Algoritmo do senóide amortecido
Passo 0 – inicializar os pesos (pequenos valores aleatórios) Passo 1 – até a condição de parada do treinamento, realizar os passos 2 a 9. Passo 2 – inicializar as ativações (para pequenos valores aleatórios) Passo 3 - apresentar o valor inicial da função, f(0) para a unidade de entrada x1. Passo 4 – até a condição de parada da época, executar os passos 5 a 8. Passo 5 – calcular a resposta da rede y = f(1) Passo 6 – calcular o erro corrente. Calcular os ajustes por retropropagação, porém, não realizar os ajustes. Passo 7 – atualizar as ativações: x4 = x3 x3 = x2 x2 = x1 x1 = y. Passo 8 – testar pela condição de parada da época. Se y > max, ou se o número de passos > 30, aplicar os ajustes de pesos e continuar com o passo 9; senão, continuar com o passo 4. Passo 9 – testar a condição de parada para o treinamento. se (erro < tolerância) ou (número total de épocas > limite) parar senão continuar com o passo 1.

11 Rede BPTT com entradas externas e recorrentes a cada tempo

12 Expansão da rede para 3 tempos
x(t-2) x(t-1) x(t) y(t) y(t-2) y(t-1) A saída da rede y(t) é função da sequência de entradas recorrentes y(t-1), y(t-2) e da sequência de entradas externas x(t), x (t-1), x (t-2).