A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aspectos de Implementação do Algoritmo Backpropagation Função de Ativação Função de Ativação Momento Momento Inicialização dos Pesos Inicialização dos.

Apresentações semelhantes


Apresentação em tema: "Aspectos de Implementação do Algoritmo Backpropagation Função de Ativação Função de Ativação Momento Momento Inicialização dos Pesos Inicialização dos."— Transcrição da apresentação:

1 Aspectos de Implementação do Algoritmo Backpropagation Função de Ativação Função de Ativação Momento Momento Inicialização dos Pesos Inicialização dos Pesos Critério de Parada Critério de Parada Generalização Generalização Normalização dos vetores entrada-saída Normalização dos vetores entrada-saída Número de camadas intermediárias Número de camadas intermediárias Escolha dos padrões de treinamento Escolha dos padrões de treinamento Sobretreinamento Sobretreinamento

2 Função de Ativação Tem que ser derivável em todo o seu domínio! Necessário para o cálculo do gradiente local dos neurônios Função Linear, Função Sigmóide (ou Logística), Função Tangente Hiperbólica

3 Momento Método do Gradiente Descendente Converge lentamente se for muito pequeno Apresenta oscilações se for muito grande

4 Momento Solução simples: acresentar uma taxa de momento é a taxa de momento em torno de 0.9 (normalmente) em torno de 0.9 (normalmente) Com a taxa de momento, pode-se escolher uma taxa de aprendizado mais elevada

5 Evolução da função custo sem momento Evolução da função custo com momento Momento

6 Inicialização dos Pesos Como escolher os valores iniciais dos pesos ? O ideal seria possuir alguma informação a respeito dos valores desejados destes parâmetros Entretanto normalmente esta informação é impossível de se obter a priori Pesos, e bias, devem ser pequenos (<<1) e escolhidos de forma aleatória dentro de um certo intervalo Importância da escolha dos valores iniciais: peso elevado pode resultar, mesmo para entradas pequenas, na saturação do neurônio peso elevado pode resultar, mesmo para entradas pequenas, na saturação do neurônio r r Neurônios operando próximos da saturação é uma das causas do decaimento lento da função custo. r r Outra causa deste decaimento lento é a proximidade de um mínimo local

7 Inicialização dos Pesos Os pesos iniciais deve ser pequenos o suficiente para que o neurônio opere em uma região fora da saturação e grande o suficiente para que o tempo de treinamento não se torne muito elevado

8 Critério de Parada Como saber se o Algoritmo de Treinamento convergiu adequadamente ? Não existe um critério bem definido para parada Gradiente da Função Custo é nulo ! Esta condição não é suficiente para garantir um desempenho desejado para a RNA (mínimo local) Avaliar a Função Custo no final de uma determina época ! Considera-se que o algoritmo convergiu quando a Função Custo estiver próximo de um determinado valor, por exemplo 0.01 (o mínimo ainda pode ser local) Combinação dos dois casos anteriores !! Combinação dos dois casos anteriores !! Considerar a validação e os dois casos anteriores !!! Considerar a validação e os dois casos anteriores !!! Quando trabalha-se com RNAs uma das características mais importantes do uso das mesmas é a Generalização. Deve-se considerar no critério de parada a avaliação da Função Custo medida com um conjunto de entradas para o qual a RNA não foi treinada

9 Critério de Parada (conjunto de teste) Início do treinamento Final do treinamento Função Custo = Conjunto de teste Função Custo = 0.18

10 Generalização Na fase de treinamento de uma RNA um conjunto de pares entrada-saída é apresentado à rede, e para cada par os pesos são ajustados Os pares entrada-saída são apresentados várias vezes para a rede No final do treinamento a RNA aprendeu o mapeamento, normalmente não-linear, entrada-saída daqueles pares apresentados Mas a RNA deve também aprender o mapeamento entrada- saída para outros pares diferentes daqueles apresentados durante o treinamento isto é a generalização x * * * * x x x x * * * * x x x treinamento generalização Espaço de Entradas Espaço de Saídas

11 Generalização A generalização pode ser melhor entendida no contexto de aproximação funcional Considere um exemplo em que conhecemos um conjunto de N pontos O problema é encontrar um função f(x) que represente bem este conjunto de pontos Pesos, x é a entrada y é a saída f(.) é desconhecida


Carregar ppt "Aspectos de Implementação do Algoritmo Backpropagation Função de Ativação Função de Ativação Momento Momento Inicialização dos Pesos Inicialização dos."

Apresentações semelhantes


Anúncios Google