Curso Introdução às Redes Neuronais Parte 2 Prof. Dr. rer.nat. Aldo von Wangenheim.

Apresentação em tema: "Curso Introdução às Redes Neuronais Parte 2 Prof. Dr. rer.nat. Aldo von Wangenheim."— Transcrição da apresentação:

1 Curso Introdução às Redes Neuronais Parte 2 Prof. Dr. rer.nat. Aldo von Wangenheim

2 Recapitulação : Aspectos Importantes Modelagem dos Objetos Implementação dos Algoritmos de Treinamento Escolha e Gerência dos exemplos para Treinamento Estes aspectos são independentes do modelo de rede que se deseja implementar.

3 Recapitulação : Modelagem dos Objetos Objetos a serem modelados: Rede Camada (Layer) Neurônio Conexão Neuroreceptor (Site)

4

5 1.0 0.5 0.0

6 1.0 0.5 0.0

7 1.0 0.5 0.0

8 1.0 0.5 0.0 100100

9 Backpropagation Modelo mais utilizado atualmente Baseia-se em uma extensão dos Perceptrons Utilizado quando queremos aprender uma função y = ?(x) desconhecida entre um conjunto de dados de entrada x e um conjunto de classificações possíveis y para esses. 4 BP é um algoritmo para a implementação de classificadores de dados. 4 Representa teoricamente qualquer função, desde que exista.

10 Perceptrons (1957) Redes Feed-Forward 4 Treinamento baseado no Erro entre saída e padrão. 2 Camadas 4 Limitado pque não existiam algoritmos de treinamento. Dois modelos de Neurônios: 4 Neurônios de Barreira Representam dados linearmente separáveis 4 Neurônios Lineares Representam dados linearmente independentes.

11 Aprendizado nos Perceptrons Através da adaptação dos pesos w ik Mesmo para os dois tipos de neurônios.

12 Perceptron: Regra de Aprendizado

13 A regra de aprendizado do Perceptron é chamada de Regra-Delta. 4 A cada passo é calculado um novo delta. Com a Regra-Delta como foi definida por Rosenblatt havia vários problemas: 4 Só servia para treinar redes onde você pudesse determinar o erro em todas as camadas. 4 Redes com só duas camadas eram limitadas. 4 Nos neurônios lineares, onde era fácil determinar o erro numa camada interna, não fazia sentido incluí-la por causa da dependência linear.

14 Regra de Aprendizado: Minimizar o Erro Inicializamos a rede com valores aleatórios para os pesos. A Regra Delta aplicada repetidamente produz como resultado e minimização do erro apresentado pela rede :

15 Erro:

16 Pesos Convergem para um Ponto de Erro Mínimo chamado Atrator

17 Problemas: As vezes o espaço vetorial definido por um conjunto de vetores de pesos não basta, não há um atrator (dados linearmente inseparáveis) Solução: 4 Rede de mais camadas Problema: 4 Como definir o erro já que não podemos usar neurônios lineares, onde o erro pode ser definido pela derivada parcial de E em relação a w ?

18 Erro em Camadas Internas Com neurônios de McCulloch & Pitts podemos representar qualquer coisa. Como perém treiná-los ? 4 Para a camada de saída é fácil determinar o erro, 4 Para outras impossível.

19 Solução (McLelland 1984) Usamos uma função não-linear derivável como função de ativação. 4 Uma função assim mantém a característica provada por McCulloch e Pitts de representação. Usamos como medida de erro em uma camada interna, a derivada parcial do erro na camada posterior. Propagamos esse erro para trás e repetimos o processo: Error Backpropagation.

20 Bacpropagation Redes de mais de duas camadas. Treinamento: 2 Passos: 4 Apresentação de um padrão para treinamento e propagação da atividade. 4 Calculo do erro e retropropagação do erro.

21 Treinamento em BP: Padrão de treinamento é apresentado. Atividade é propagada pelas camadas. Erro é calculado na saída e vetores de pesos entrando na última camada são adaptados. Derivada do erro em relação aos vetores de pesos (antes da adaptação) é calculada e usada para adaptação dos pesos da camada anterior. Processo é repetido até a camada de entrada.

22 Funções de Ativação Quaselineares:

23

24

25

26