Luana Bezerra Batista luana@dsc.ufcg.edu.br Redes Neurais Luana Bezerra Batista luana@dsc.ufcg.edu.br.

Apresentação em tema: "Luana Bezerra Batista luana@dsc.ufcg.edu.br Redes Neurais Luana Bezerra Batista luana@dsc.ufcg.edu.br."— Transcrição da apresentação:

1 Luana Bezerra Batista luana@dsc.ufcg.edu.br
Redes Neurais Luana Bezerra Batista

2 Roteiro Introdução Neurônio Artificial Perceptron
Perceptrons de Múltiplas Camadas Algoritmo Backpropagation Mapas Auto-Organizáveis

3 Introdução Redes Neurais são modelos computacionais inspirados no cérebro humano que aprendem através de exemplos Compostas por várias unidades de processamento (‘neurônios’) Interligadas por conexões (‘sinapses’) Cada conexão possui um peso associado (‘peso sináptico’)

4 Introdução Arquitetura genérica de uma RN Camada intermediária
Camada de entrada Camada de saída

5 Neurônio Artificial å Modelo de McCulloch-Pitts (1943) v ( i ) = w ´ x
wji w1i wni o(i) v(i) x1 xj xn v ( i ) = w ji x j å o f f(.) f(v(i)) = 1, se v(i)0 f(v(i)) = 0, se v(i)<0

6 Perceptron Desenvolvido por Rosemblat (1958)
Forma mais simples de uma Rede Neural utilizada para classificação de padrões linearmente separáveis Utiliza o modelo de neurônio de McCulloch-Pitts

7 Perceptron Problemas linearmente separáveis

8 Perceptron Algoritmo de Treinamento (Supervisionado)
iniciar todas as conexões com wj = 0; repita para cada padrão de treinamento (x, d) faça calcular a saída o se (d o) então ajustar pesos até o erro ser aceitável

9 Perceptron Ajuste dos pesos por correção do erro
wji =  xj (dj - oj ), se (d  o) Onde (dj - oj ), representa o erro e  é a taxa de aprendizado wji = 0, se (d = o)

10 Perceptron Algoritmo de Teste Para cada padrão x faça
apresentar x a entrada da rede calcular a saída o se (o=1) então x  classe 1 senão x  classe 2

11 Perceptron Perceptrons de uma única camada resolvem apenas problemas linearmente separáveis Grande número de aplicações importantes são não-linearmente separáveis

12 Perceptron Exemplo: problema XOR

13 Perceptron Solução: perceptrons de múltiplas camadas

14 Perceptrons de múltiplas camadas
Uma rede neural MLP (Multi-Layer Perceptrons) é uma extensão do Perceptron proposto por Rosenblatt, composta de várias camadas de neurônios Arquitetura de rede neural mais utilizada Uma rede neural MLP (Multi-Layer Perceptrons)

15 Perceptrons de múltiplas camadas
Contém três tipos de camadas: camada de entrada camada(s) intermediárias(s) camada de saída Qualquer neurônio de uma camada pode interligar-se com outro neurônio da camada seguinte Uma rede neural MLP (Multi-Layer Perceptrons)

16 Perceptrons de múltiplas camadas
Camada intermediária Camada de entrada Camada de saída

17 Perceptrons de múltiplas camadas
O treinamento de uma rede neural MLP é realizado de maneira supervisionada com o algoritmo Backpropagation (ou retropropagação do erro) Nesse algoritmo, a determinação do sinal de erro d é um processo recursivo que se inicia nos neurônios da camada de saída e vai até os neurônios da primeira camada intermediária

18 Backpropagation O algoritmo Backpropagation opera em dois passos:
1) Forward um padrão é apresentado à camada de entrada da rede e propagado em direção à camada de saída a saída obtida é comparada com a saída desejada para esse padrão particular. Se esta não estiver correta, o erro é calculado

19 Backpropagation 2) Backward
o erro é propagado a partir da camada de saída até a camada de entrada os pesos das conexões dos neurônios das camadas internas vão sendo modificados conforme o erro é retropropagado

20 Backpropagation Para os neurônios das camadas intermediárias, onde não existem saídas desejadas, o sinal do erro d é determinado recursivamente em termos dos sinais dos erros dos j neurônios diretamente conectadas a eles e dos pesos destas conexões

21 Backpropagation Erro dos neurônios na camada de saída
Erro dos neurônios nas camadas intermediárias Ajuste dos pesos

22 Backpropagation

23 Backpropagation Vantagens Desvantagens simples de implementar
boa capacidade de generalização Desvantagens dificuldade de justificar as respostas custo computacional significativo baixa velocidade de aprendizado muitas pesquisas vêm sendo realizadas visando a extração de conhecimento de redes neurais artificiais, e na criação de procedimentos explicativos, onde se tenta justificar o comportamento da rede em determinadas situações

24 Mapas Auto-Organizáveis
O mapa auto-organizável (SOM: Self-Organizing Map) é um tipo especial de rede neural não-supervisionada onde é realizado um processo de aprendizagem competitiva O neurônio mais próximo do padrão de entrada (com a menor distância Euclidiana) é declarado vencedor

25 Mapas Auto-Organizáveis
Segundo Haykin (2001), o principal objetivo do SOM é transformar um padrão de entrada, de dimensão arbitrária, em um mapa discreto uni- ou bi-dimensional

26 Mapas Auto-Organizáveis
Camada computacional SOM bidimensional Os neurônios do mapa são totalmente conectados com todos os nós fontes da camada de entrada, representando uma estrutura alimentada adiante com uma única camada computacional. Um mapa unidimensional é um caso especial da arquitetura apresentada na figura, onde a camada computacional consiste de uma única coluna ou linha de neurônios. Camada de entrada

27 Mapas Auto-Organizáveis
Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada) Agrupamento de padrões similares em regiões geograficamente próximas Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas.

28 Mapas Auto-Organizáveis
Algoritmo Inicialize os vetores de pesos com valores aleatórios wj = [wj1, wj2, …, wjm], j=1,2,…n Onde m é a dimensão do espaço de entrada e n é o número total de neurônios do mapa Restrição: os vetores de pesos devem ser diferentes Para cada padrão de entrada x = [x1, x2, ...xm] encontre o neurônio mais próximo desse padrão (neurônio vencedor i(x)=arg min||x-wj||) atualize os pesos Repita o passo 2 até que não sejam observadas modificações significativas no mapa Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas.

29 Mapas Auto-Organizáveis
Ajuste dos vetores de pesos wj = h(i(x))(x - wj ) Onde h(i(x)) é a função de vizinhança que mede o grau de participação dos neurônios vizinhos a i(x) no processo de aprendizado Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas.

30 Mapas Auto-Organizáveis
Experimento: agrupamento de 16 animais em 3 categorias Caçadores Pássaros Espécies pacíficas SOM 10x10 2000 iterações Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas.

31 Atributos Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas.

32 Mapa Contextual Caçadores Pássaros Espécies pacíficas
Os mapas auto-organizáveis possuem duas propriedades principais: Quantização vetorial (redução do espaço de entrada). Agrupamento de padrões similares em regiões geograficamente próximas. Espécies pacíficas

33 Referências Mitchell, T., Machine Learning. McGraw-Hill, 1997
Haykin, S. Redes Neurais – Princípios e prática. 2. Ed. Porto Alegre, RS: Bookman, 2001