Redes Neurais Artificiais (Parte 1)

Apresentação em tema: "Redes Neurais Artificiais (Parte 1)"— Transcrição da apresentação:

1 Redes Neurais Artificiais (Parte 1)
3/25/2017 MD - Prof. Paulemir Campos

2 MD - Prof. Paulemir Campos
Roteiro da Aula Redes Neurais Artificiais (RNAs): Introdução; Tipos de RNAs; Aprendizado em RNAs. Referências. 3/25/2017 MD - Prof. Paulemir Campos

3 Redes Neurais Artificiais: Introdução
3/25/2017 MD - Prof. Paulemir Campos

4 MD - Prof. Paulemir Campos
O Que São RNAs? Redes Neurais Artificiais (RNAs) são modelos de computação com propriedades particulares: Capacidade de se adaptar ou aprender; Generalizar; Agrupar ou organizar dados. 3/25/2017 MD - Prof. Paulemir Campos

5 MD - Prof. Paulemir Campos
O Que São RNAs? RNAs: estruturas distribuídas formadas por grande número de unidades de processamento conectadas entre si; Multi-disciplinaridade: Ciência da Computação, Matemática, Física, Engenharias, Psicologia, Biologia, Lingüística, Filosofia, etc. 3/25/2017 MD - Prof. Paulemir Campos

6 MD - Prof. Paulemir Campos
O Que São RNAs? Modelos inspirados no cérebro humano: Compostas por várias unidades de processamento (“neurônios” ou nodos) interligadas por um grande número de conexões (“sinapses” ou pesos). Eficientes onde métodos tradicionais têm se mostrado inadequados. 3/25/2017 MD - Prof. Paulemir Campos

7 Exemplo de Topologia de uma RNA
O Que São RNAs? Exemplo de Topologia de uma RNA 3/25/2017 MD - Prof. Paulemir Campos

8 Características das RNAs
Aprendem através de exemplos; Adaptabilidade; Capacidade de generalização; Tolerância a falhas; Implementação rápida. 3/25/2017 MD - Prof. Paulemir Campos

9 MD - Prof. Paulemir Campos
História das RNAs Inter-relação entre Investigação do comportamento e estrutura do sistema nervoso através de experimentação e modelagem biológica; Desenvolvimento de modelos matemáticos e suas aplicações para a solução de vários problemas práticos. Simulação e implementação destes modelos. 3/25/2017 MD - Prof. Paulemir Campos

10 História das RNAs A Origem
( a. C.) Aristóteles escreveu: “De todos os animais, o homem, proporcionalmente, tem o maior cérebro.” (1700) Descartes acreditava que mente e cérebro eram entidades separadas; (1911) Ramon e Cajal introduzem a idéia de neurônios como estruturas básicas do cérebro. 3/25/2017 MD - Prof. Paulemir Campos

11 História das RNAs A Década de 1940: O Começo
(1943) McCulloch & Pitts: Provam, teoricamente, que qualquer função lógica pode ser implementada utilizando unidades de soma ponderada e threshold (limiar); (1949) Hebb desenvolve algoritmo para treinar RNA (aprendizado Hebbiano): Se dois neurônios estão simultaneamente ativos, a conexão entre eles deve ser reforçada. 3/25/2017 MD - Prof. Paulemir Campos

12 História das RNAs 1950-1960: Anos de Euforia
(1958) Von Neumann mostra interesse em modelagem do cérebro (RNA): “The Computer and the Brain”, Yale University Press (1959) Rosenblatt implementa primeira RNA, a rede Perceptron: Ajuste iterativo de pesos; Prova teorema da convergência. 3/25/2017 MD - Prof. Paulemir Campos

13 História das RNAs Década de 1970: Pouca Atividade
(1969) Minsky & Papert analisam Perceptron e mostram suas limitações: Não poderiam aprender a resolver problemas simples como o OU-exclusivo; Causou grande repercussão. 3/25/2017 MD - Prof. Paulemir Campos

14 História das RNAs Década de 1970: Pouca Atividade
(1971) Aleksander propõe Redes Booleanas; (1972) Kohonen e Anderson trabalham com RNA Associativas; (1975) Grossberg desenvolve a Teoria da Ressonância Adaptiva (redes ART). 3/25/2017 MD - Prof. Paulemir Campos

15 História das RNAs Década de 1980: A Segunda Onda
(1982) Hopfield mostra que Redes Neurais podem ser tratadas como sistemas dinâmicos; (1986) Hinton, Rumelhart e Williams, propõem algoritmo de aprendizagem para redes multi-camadas: Parallel Distribuited Processing Paul Werbos (1974) 3/25/2017 MD - Prof. Paulemir Campos

16 Unidades de Processamento
Função: receber entradas de conjunto de unidades A, computar função sobre entradas e enviar resultado para conjunto de unidade B. Entrada Total: N u =  xiwj i=1 3/25/2017 MD - Prof. Paulemir Campos

17 Unidades de Processamento
Representação Local: unidades representam objetos bem definidos (Ex. letras, palavras, faces, etc); Distribuída: unidades representam elementos abstratos. Localização das unidades Intermediária (escondida); Saída. 3/25/2017 MD - Prof. Paulemir Campos

18 Unidades de Processamento
Estado de ativação: Representa o estado dos neurônios da rede; Pode assumir valores: Binários (0 e 1); Bipolares (-1 e +1); Reais Definido através de funções de ativação. 3/25/2017 MD - Prof. Paulemir Campos

19 MD - Prof. Paulemir Campos
Funções de Ativação Processa conjunto de entradas recebidas e o transforma em estado de ativação; Funções de ativação típicas envolvem: Adições; Comparações; Transformações matemáticas. 3/25/2017 MD - Prof. Paulemir Campos

20 MD - Prof. Paulemir Campos
Funções de Ativação Função de ativação Atualiza estado de ativação a(t + 1) = F [a(t), u(t)] a(t + 1) = F [a(t)] a(t + 1) = F [u(t)] Atualização Síncrona (mais comum) Assíncrona 3/25/2017 MD - Prof. Paulemir Campos

21 MD - Prof. Paulemir Campos
Funções de Ativação Funções de ativação mais comuns 3/25/2017 MD - Prof. Paulemir Campos

22 MD - Prof. Paulemir Campos
Funções de Ativação Sigmoid Logística 3/25/2017 MD - Prof. Paulemir Campos

23 MD - Prof. Paulemir Campos
Funções de Ativação Tangente Hiperbólica 3/25/2017 MD - Prof. Paulemir Campos

24 MD - Prof. Paulemir Campos
Funções de Saída Função de saída Transforma estado de ativação de uma unidade em seu sinal de saída yi(t) = fi (ai(t)) Geralmente é uma função identidade. 3/25/2017 MD - Prof. Paulemir Campos

25 Valores de Entrada e Saída
Sinais de entrada e saída de uma RNA geralmente são números reais Números devem estar dentro de um intervalo Tipicamente entre -1 e +1 ou 0 e 1 Codificação realizada pelo projetista da rede Técnica de codificação mais simples é a binária Número restrito de aplicações. 3/25/2017 MD - Prof. Paulemir Campos

26 MD - Prof. Paulemir Campos
Conexões Definem como neurônios estão interligados Nós são conectados entre si através de conexões específicas. Codificam conhecimento da rede Uma conexão geralmente tem um valor de ponderamento ou peso associada a ela. 3/25/2017 MD - Prof. Paulemir Campos

27 MD - Prof. Paulemir Campos
Conexões Tipos de conexões (wik(t)) Excitatória: (wik(t) > 0) Inibitória: (wik(t) < 0) Conexão inexistente: (wik(t) = 0) Número de conexões de um nó Fan-in: número de conexões de entrada; Fan-out: número de conexões de saída. 3/25/2017 MD - Prof. Paulemir Campos

28 Redes Neurais Artificiais: Tipos
3/25/2017 MD - Prof. Paulemir Campos

29 MD - Prof. Paulemir Campos
Topologia Número de camadas Uma camada (Ex.: Perceptron, Adaline) Multi-camadas (Ex.: MLP) Completamente conectada; Parcialmente conectada; Localmente conectada. 3/25/2017 MD - Prof. Paulemir Campos

30 MD - Prof. Paulemir Campos
Topologia Completamente Conectada 3/25/2017 MD - Prof. Paulemir Campos

31 MD - Prof. Paulemir Campos
Topologia Parcialmente Conectada 3/25/2017 MD - Prof. Paulemir Campos

32 MD - Prof. Paulemir Campos
Topologia Localmente Conectada 3/25/2017 MD - Prof. Paulemir Campos

33 MD - Prof. Paulemir Campos
Topologia Arranjo das conexões: Redes Feedforward Não existem loops de conexões Redes Recorrentes Conexões apresentam loops Mais utilizadas em sistemas dinâmicos Lattices Matriz n-dimensional de neurônios 3/25/2017 MD - Prof. Paulemir Campos

34 MD - Prof. Paulemir Campos
Topologia Redes Feedforward Sinal segue numa única direção; Tipo mais comum. 3/25/2017 MD - Prof. Paulemir Campos

35 MD - Prof. Paulemir Campos
Topologia Redes Recorrentes Possuem conexões ligando saída da rede a sua entrada; Podem lembrar entradas passadas e, conseqüentemente, processar seqüência de informações (no tempo ou espaço) 3/25/2017 MD - Prof. Paulemir Campos

36 MD - Prof. Paulemir Campos
Topologia Redes Recorrentes 3/25/2017 MD - Prof. Paulemir Campos

37 MD - Prof. Paulemir Campos
Topologia Camada de Saída Nodo Vencedor Lattices 1 i n Camada de Entrada 3/25/2017 MD - Prof. Paulemir Campos

38 Redes Neurais Artificiais: Aprendizado
3/25/2017 MD - Prof. Paulemir Campos

39 MD - Prof. Paulemir Campos
Aprendizado Capacidade de aprender a partir de seu ambiente e melhorar sua performance com o tempo; Parâmetros livres de uma RNA são adaptados através de estímulos fornecidos pelo ambiente: Processo iterativo de ajustes aplicado a sinapses e thresholds; Idealmente, a RNA sabe mais sobre seu ambiente após cada iteração. 3/25/2017 MD - Prof. Paulemir Campos

40 Aprendizado RNA deve produzir para cada conjunto de entradas apresentado o conjunto de saídas desejado: wik(t+ 1) = wik(t) + wik(t) 3/25/2017 MD - Prof. Paulemir Campos

41 MD - Prof. Paulemir Campos
Aprendizado Mecanismos de aprendizado: Modificação de pesos (wij(t)) associados às conexões; Armazenamento de novos valores em conteúdos de memória; Acréscimo e/ou eliminação de conexões/neurônios. 3/25/2017 MD - Prof. Paulemir Campos

42 Paradigmas de Aprendizado
Os paradigmas de aprendizado em RNAs são: Aprendizado Supervisionado; Aprendizado por Reforço; Aprendizado Não-Supervisionado. 3/25/2017 MD - Prof. Paulemir Campos

43 Aprendizado Supervisionado
Professor externo: Possui conhecimento sobre ambiente Representado por conjunto de pares (x,d); Geralmente, a rede não possui informações prévias sobre ambiente. Parâmetros da rede são ajustados por (x,d); Rede procura emular professor. 3/25/2017 MD - Prof. Paulemir Campos

44 Aprendizado Supervisionado
Problema de atribuição de crédito: Atribuir crédito ou culpa pelo resultado à cada uma das decisões internas que contribuíram para ele; Para rede melhorar desempenho, o custo deve mover para ponto de mínimo na superfície de erro: Utiliza informação sobre gradiente da superfície para os parâmetros atuais da rede; Gradiente: vetor que aponta na direção da descida mais íngreme. 3/25/2017 MD - Prof. Paulemir Campos

45 Aprendizado Supervisionado
Formas de aprendizado supervisionado: Offline (estático) Módulo externo para aprendizado; Rede é congelada após o treinamento. Online (dinâmico) Rede nunca para de ser treinada; Aprendizado auto-contido Desvantagem: dependência do professor 3/25/2017 MD - Prof. Paulemir Campos

46 Aprendizado Supervisionado
Um algoritmo de aprendizado supervisionado é o aprendizado por correção de erro; 3/25/2017 MD - Prof. Paulemir Campos

47 Aprendizado Supervisionado
Aprendizado por Correção de Erro: Regra Delta (Widrow e Hoff 1960); Erro: ek(t) = dk(t) - yk(t); Minimizar função de custo baseada em ek(t); Função de custo c(t) = -1/2e2k(t) Minimização de c(t) utiliza método de gradiente descendente; Aprendizado atinge solução estável quando os pesos não precisam mudar muito. 3/25/2017 MD - Prof. Paulemir Campos

48 Aprendizado Supervisionado
Aprendizado por Correção de Erro (Cont.): Após seleção da função de custo, aprendizado se torna um problema de otimização: RNA é otimizada pela minimização de c(t) com respeito aos pesos da rede Modelo matemático: wik(t) =  . ek(t) . xi(t) 3/25/2017 MD - Prof. Paulemir Campos

49 Aprendizado Por Reforço
Crítico externo: Processo de tentativa e erro; Procura maximizar sinal de reforço. Se ação tomada por sistema é seguida por estado satisfatório, sistema é fortalecido, caso contrário, sistema é enfraquecido (lei de Thorndike). 3/25/2017 MD - Prof. Paulemir Campos

50 Aprendizado Não-Supervisionado
Não tem crítico ou professor externo; Extração de características estatisticamente relevantes: Cria classes automaticamente. 3/25/2017 MD - Prof. Paulemir Campos

51 Aprendizado Não-Supervisionado
São métodos de aprendizado não-supervisionado: Aprendizado Hebbiano; Aprendizado Competitivo. 3/25/2017 MD - Prof. Paulemir Campos

52 Aprendizado Não-Supervisionado
Aprendizado Hebbiano: Regra mais antiga e famosa (Hebb 1949); Dois neurônios estão simultaneamente ativos, a conexão entre eles deve ser fortalecida; Regra modificada (sinapse Hebbiana) Dois neurônios são ativados sincronamente, força da sinapse deve ser aumentada; Dois neurônios são ativados assincronamente, força da sinapse deve ser reduzida. 3/25/2017 MD - Prof. Paulemir Campos

53 Aprendizado Não-Supervisionado
Aprendizado Competitivo: Neurônios competem entre si para ser ativado; Apenas um neurônio se torna ativo (regra winner-takes-all); Adequado para descobrir características estatisticamente salientes: Podem classificar conjuntos de entradas 3/25/2017 MD - Prof. Paulemir Campos

54 MD - Prof. Paulemir Campos
Referências Braga, A. P.; Ludermir, T. B. e Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000. Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE. 3/25/2017 MD - Prof. Paulemir Campos