INTRODUÇÃO AS REDES NEURAIS FÁBIO SILVA PIAZZI Orientadores: Marcelo Albuquerque Aline Gesualdi Novembro 2001

SUMÁRIO Introdução & Histórico Conceitos & Características Exemplo & Implementação Conclusão & Referências Bibliográficas

1) INTRODUÇÃO 1 REDES NEURAIS OU REDES NEURONAIS ? tentativa de reproduzir artificialmente redes neurais biológicas MOTIVAÇÃO Cérebro lida melhor com alguns problemas que o computador reconhecimento de padrões problemas de otimização combinatória Outras características desejáveis capaz de aprender sem o conhecimento do algoritmo capaz de generalizar robustez APLICAÇÕES processamento de sinais e imagens 1

2) HISTÓRICO 2 EVOLUÇÃO DO ESTUDO 1940-1950: início das Redes neurais com McCulloch e Pitts. E as redes de auto-organização. 1950-1960: Perceptron de aprendizado supervisionado. 1960-1970: Pouco avanço 1980-2000: Redes simétricas e o Backpropagation 2

3) NEURÔNIO BIOLÓGICO 3 Estudo do comportamento do neurônio PARTES dendritos corpo celular axônio sinapse Idéia de entrada, processamento e saída 3

4) REDE BIOLÓGICA 4 Tentativa de mapear o seu funcionamento APRESENTAÇÃO formam malhas complexas comunicação entre neurônios pelas sinapses Como reproduzir tal complexidade? 4

5) NEURÔNIO ARTIFICIAL - PERCEPTRON Começando pela unidade básica CARACTERÍSTICAS variável interna - polarização - bias função de ativação - Semelhança entre os modelos 5

6) REDE ARTIFICIAL 6 Construção de um modelo similar 6.1) APRESENTAÇÃO Disposição em camadas (simplicidade) Comunicação entre neurônios entre camadas adjacentes Atendendo aos desejos iniciais, simplificando o modelo real 6

6) REDE ARTIFICIAL 7 6.2) CARACTERÍSTICAS 2 MODOS DE FUNCIONAMENTO TREINAMENTO Algoritmo - Backpropagation Supervisionado Erro Passo do aprendizado Não supervisionado OPERAÇÃO Algoritmo - Feedforward 7

? A B C 7) TREINAMENTO 8 REDE NEURAL 7.1) SEM TREINAMENTO conjunto de treinamento pesos sinápticos aleatórios A B C REDE NEURAL ? 8

X X A,B A,B A,B D R A P A B B A 7) TREINAMENTO 9 REDE NEURAL 7.2) TREINAMENTO SUPERVISIONADO conjunto de treinamento A,B erro, erro A,B ok, erro A,B ok, ok PADRÕES 1a ITERAÇÃO 2a ITERAÇÃO 3a ITERAÇÃO X D R A P A B REDE NEURAL B A X 9

8) BACKPROPAGATION 10 BACKPROPAGATION propagação saída/entrada erro associado Backpropagation 10

Como atingir o erro mínimo? 9) ERRO ASSOCIADO ERRO Valor desejado Valor obtido na saída da rede Neurônio artificial Como atingir o erro mínimo? 11

10) MINIMIZAÇÃO DO ERRO 12 MÉTODO DO GRADIENTE DESCENDENTE mesma direção e sentido oposto ao gradiente VALOR INICIAL n w(n) w(n) 5 -2 1 3 -1,2 2 1,8 -0,72 1,08 -0,43 4 0,65 -0,26 1a ITERAÇÃO 2a ITERAÇÃO 3a ITERAÇÃO 4a ITERAÇÃO 12

A B C A B C 11) FEEDFORWARD 13 REDE NEURAL serão utilizadas 3 camadas propagação entrada/saída conjunto de operação rede treinada A B C A B C Feedforward REDE NEURAL 13

12) EXEMPLO 14 11.1) FEEDFORWARD 0,06 0,06 0,097 0,46 0,46 0,614 0,63

12) EXEMPLO 15 11.2) BACKPROPAGATION - simplificado retropropagação do erro um neurônio Regra Delta 15

12) EXEMPLO 16 11.3) BACKPROPAGATION valores desejados: Ya=0,2 ; Yb=1 retropropagação do erro 0,103 0,13 0,03 0,24 0,152 16

13) IMPLEMENTAÇÃO 17 PROGRAMA EM C rede 35 x 4 x 10 entrada grid 5x7 saída 10 bits 17

14) GRAFICO DO ERRO 18

14) GRAFICO DO ERRO 19

15) CONCLUSÃO Tentativa da modelagem do neurônio biológico para o artificial movida pela perfeição das redes biológicas Grande dificuldade no desenvolvimento e implementação das redes artificiais complexidade e do enorme número de parâmetros Já existem resultados animadores que revelam um grande avanço no estudo das Redes Neurais 20

16) REFERÊNCIAS BIBLIOGRÁFICAS 1) Calôba, Luiz P. - Introdução à Computação Neuronal (CBPF) 2) Reis, Caimi F., Albuquerque, Marcelo P., Castro, Sérgio B. Nota Técnica – CBPF-NT-002/01, março 2001 (CBPF) Haykin, Simon – Neural Network: A Comprehensive Foundation (CBPF) Internet http://equipe.nce.ufrj.br/thome/grad/nn/transp/sld001.htm http://artecno.ucs.br/textneurais.htm http://www.ielusc.br/inst/comsocial/jornalismo/ntc/990303/redeneur.htm http://www1.cptec.inpe.br/~anderson/apost/info/neura.htm http://www.cesec.ufpr.br/~zanardin/Contents/Disciplines/neural/neural_network.htm http://www.icmsc.sc.usp.br/~andre/ann_links.html 21

INTRODUÇÃO AS REDES NEURAIS FÁBIO SILVA PIAZZI Orientadores: Marcelo Albuquerque Aline Gesualdi Novembro 2001