Redes Neurais Artificiais

Apresentação em tema: "Redes Neurais Artificiais"— Transcrição da apresentação:

1 Redes Neurais Artificiais
Christiano Lima Santos

2 Classificação de Padrões
Aula 2

3 Sumário Arquitetura Separabilidade Linear O que são Redes Hebb?
Características Algoritmo Função AND Função NOT Função OR Um caso específico Vantagens e desvantagens das redes Hebb

4 Arquitetura Single-layer;
Uso de bias para ajustar, mantendo o threshold fixo; Problemas separáveis linearmente;

5 Separabilidade Linear
Capacidade de uma rede separar dois padrões a partir de pesos e bias bem ajustados para tal;

6 Separabilidade Linear

7 O que são Redes Hebb? Redes neurais single-layer;
Utilizam-se das regras de aprendizado Hebb; Ajuste de todos os pesos a cada vetor de entrada Independente do mesmo contribuir ou não para o resultado;

8 Características Vetores de entrada na forma bipolar ou binária;
Resultado na forma bipolar; Treinamento supervisionado;

9 Algoritmo Inicializa os pesos
Para cada vetor de entrada, incremente cada wi com ∆wi = xi*t para i = 0 até n wi = 0; para cada vetor de entrada wi += xi*t;

10 Função AND Entrada Saída 1 1 1 1 1 -1 1 -1 -1 1 1 -1 -1 1
1 -1 O treinamento foi efetuado com sucesso; Resultados alcançados em uma única época;

11 Função NOT O treinamento foi efetuado com sucesso;
Resultados alcançados em uma única época; Entrada Saída 1 -1

12 Função OR Entrada Saída 1 1 1 1 1 -1 1 -1 1 1 -1 -1 1 -1
1 -1 O treinamento foi efetuado com sucesso; Resultados alcançados em uma única época;

13 Um Caso Específico... Treinamento fracassou;
Entrada Saída 1 -1 Treinamento fracassou; Uma possível combinação de pesos seria: 1, 1, 1, -2

14 Vantagens e Desvantagens das Redes Hebb
Vantagem: Fácil aprendizado e implementação; Desvantagem: Nem todos os problemas linearmente separáveis podem ser resolvidos por aprendizado Hebb;

15 Perceptron Perceptron
Aula 3

16 Sumário Arquitetura Características Representação Gráfica
Função de Ativação Algoritmo Função AND Reconhecimento de Caracteres

17 Arquitetura Single-layer; Threshold X bias;
Problemas linearmente separáveis;

18 Características Duas retas dividem o plano cartesiano;
Taxa de aprendizado α; Treinamento em épocas;

19 Representação gráfica

20 Função de Ativação

21 (Código-fonte de aplicação em breve, no site)
Algoritmo Inicializa os pesos Para cada vetor de entrada, compute y_in e y, se diferente de t, incremente cada wi com ∆wi = α *t*xi Caso varie algum wi, retorne para o passo anterior (Código-fonte de aplicação em breve, no site)

22 (Em breve, disponível em artigo no site)
Função AND (Em breve, disponível em artigo no site)

23 Reconhecimento de Caracteres
(Em breve, disponível em artigo no site)

24 Adaline Adaline Aula 4

25 Sumário Arquitetura Características Representação Gráfica
Função de Ativação Algoritmo Reconhecimento de Caracteres

26 Arquitetura Uma única camada; Dispensa especificação de Threshold;
Problemas linearmente separáveis;

27 Características Taxa de aprendizado α; Treinamento em épocas;
Utiliza-se da regra de aprendizado delta;

28 Representação gráfica

29 Função de Ativação

30 (Em breve, disponível no site)
Algoritmo (Em breve, disponível no site)

31 Reconhecimento de Caracteres
(Em breve, disponível no site)

32 Madaline Madaline Aula 5

33 Sumário Arquitetura Características Representação Gráfica Algoritmo
Função XOR

34 Arquitetura Várias Adalines organizadas em múltiplas camadas;
Não somente problemas linearmente separáveis;

35 Características Treinamento um pouco mais complexo;
Não envolve somente uma camada com neurônios! Algoritmos MRI (algoritmo original) e MRII; Agora, o espaço é dividido por duas retas; Muito cuidado com uso de pesos inicializados com zero!

36 Representação gráfica

37 (Explicação e aplicação em breve, no site)
Algoritmo (Explicação e aplicação em breve, no site)

38 (Aplicação em breve, no site)
Função XOR (Aplicação em breve, no site)

39 JavaNNS JavaNNS Aula 6

40 Sumário O Que é? Instalação Tela do JavaNNS Menus Algumas Janelas
Rede AND

41 O Que é? Universidade de Tübingen Simulador para redes neurais;
Departamento de Ciência da Computação Simulador para redes neurais; JavaNNS = SNNS in Java + GUI; Livre distribuição com algumas restrições;

42 Instalação JRE instalado; Descompactação; Execução por meio da JVM
java –jar javanns.jar Diretórios: Examples; Manuals;

43 Tela do JavaNNS

44 Menus File Edit New Open Close Save / Save As / Save Data Print Exit
Undo / Redo Names / Output values Unit properties Delete Units Links

45 Menus View Tools Network Display Settings Error graph Weights
Projection Kohonen Log Status Panel Properties Tools Control Panel Cascade & TACOMA Analyser Create Layers Connections

46 Menus Window Pattern Help Cascade Close all Add Modify Copy Contents
About Pattern Add Modify Copy New Set

47 Algumas Janelas Error Graph View Network

48 Algumas Janelas Control Panel Log Window

49 [ Execute o JavaNNS com os parâmetros para a rede AND ]

50 Associação de Padrões Associação de Padrões
Aulas 7 e 8

51 Parte 1 Parte 1 Aula 7

52 Sumário O que são Redes Associativas Regras de Treinamento Regra Hebb
Regra Delta Redes Heteroassociativas Redes Autoassociativas

53 O que são Redes Associativas
Associam determinados padrões a outros; Reconhecem um padrão mesmo com entradas “perdidas” ou “erradas”; sn:tm  Wn x m; Testando a rede: f(s.W) = t

54 O que são Redes Associativas
Quanto maior for a correlação (não-ortogonalidade) entre os vetores de entrada do treinamento, menos eficaz poderá ser a matriz de pesos no reconhecimento; Perfect Recall versus Cross Talk

55 Regras de Treinamento Regra Hebb Regra Delta Mais simples;
Reproduz melhores resultados;

56 Regra Hebb A matriz peso é resultado do produto externo do padrão associado W = sT.t

57 Regra Delta Reproduz melhores resultados que a regra Hebb
Mesmo quando lidando com vetores não ortogonais; Regra Delta original: Variação da Regra Delta:

58 Redes Heteroassociativas
Redes em que os pesos são determinados de forma a armazenar P padrões;

59 Redes Heteroassociativas
Funções de ativação Step bipolar

60 Redes Heteroassociativas
Funções de ativação Step binária

61 Redes Heteroassociativas
Funções de ativação Incluindo um threshold θi Usada em Memória Associativa Bidirecional (BAM)

62 Redes Heteroassociativas
Para um conjunto de associações-padrão (usando a regra Hebb) W = W(1) W(i) W(P)

63 Redes Autoassociativas
Vetor de treinamento = saída desejada; Armazenamento do vetor; “Zerar” a diagonal principal da matriz peso; (regra Hebb)

64 Redes Autoassociativas
Capacidade de Armazenamento Até n-1 vetores ortogonais entre si de n componentes em uma matriz peso usando a soma dos produtos externos;

65 Parte 2 Parte 2 Aula 8

66 Sumário Redes Autoassociativas Iterativas
Autoassociador Linear Recorrente Brain-State-in-a-Box (BSB) Rede Discreta de Hopfield Memória Associativa Bidirecional (BAM) Outros Conceitos

67 Redes Autoassociativas Iterativas
Incapacidade de associar um vetor com muitas “incertezas” na primeira tentativa; Entretanto conseguem determinar de forma iterativa!

68 Redes Autoassociativas Iterativas
Alguns tipos: Autoassociador linear recorrente; Redes Brain-State-in-a-Box; Redes de Hopfield; Todos os n neurônios interconectados!

69 Autoassociador Linear Recorrente
Todos os neurônios interconectados; Pesos podem ser determinados pela regra Hebb; Possibilidade de problemas com o crescimento da matriz-peso; Solução: redes BSB;

70 Brain-State-in-a-Box (BSB)
Limita o crescimento por meio da modificação da função de ativação; Pesos simétricos Nenhuma autoconexão

71 Rede Discreta de Hopfield
Totalmente interconectadas, pesos simétricos e nenhuma autoconexão; Atualização assíncrona: Somente uma unidade por vez;

72 Rede Discreta de Hopfield
Sinal externo + Sinal de cada um dos outros neurônios; Função de Energia ou Lyapunov;

73 Rede Discreta de Hopfield
Inicialização de pesos pode ser por regra Hebb; Busca-se a convergência dos valores de ativação; Quando usar a entrada externa?

74 Rede Discreta de Hopfield
Função Energia Capacidade de Armazenamento Padrões Binários Padrões Bipolares

75 Memória Associativa Bidirecional (BAM)
Soma de matrizes de correlação bipolares; Camadas de neurônios X e Y;

76 Memória Associativa Bidirecional (BAM)
BAM discreta Binárias ou bipolares; Cálculo do peso por meio do produto externo das formas bipolares; Função de ativação step;

77 Memória Associativa Bidirecional (BAM)
BAM contínua Saída no intervalo [0, 1]; Cálculo de y_inj utiliza bias; Função de ativação sigmóide logística;

78 Outros Conceitos Distância Hamming Apagar uma associação armazenada
xc:tc  não apaga x:t xc:t ou x:tc  apaga x:t

79 Backpropagation Backpropagation
Aula 9

80 Standard Backpropagation

81 Sumário Introdução Estágios do Treinamento Arquitetura
Função de Ativação Fatores e Variações dos Pesos Algumas Decisões Importantes Aplicações

82 Introdução Regra Delta Generalizada;
Redução do erro quadrado total da saída; Derivada da função de ativação; Propagação dos valores de correção Sentido contrário ao fluxo de informações; Multi-camada feedforward; Uma ou mais camadas ocultas;

83 Estágios do Treinamento
Feedforward do padrão de treinamento de entrada; Cálculo e “backpropagation” do erro; Ajuste dos pesos;

84 Arquitetura

85 Função de Ativação Sigmóide Binária Sigmóide Bipolar

86 Fatores e Variações dos Pesos
Da camada de saída Da camada oculta

87 Algumas Decisões Importantes
Escolha dos pesos iniciais Valores aleatórios entre –0.5 e 0.5; Quanto tempo deve durar o treinamento Memorização X Generalização; Quantos devem ser os pares de treinamento;

88 Algumas Decisões Importantes
Representação dos dados Binária X Bipolar; Número de camadas ocultas Uma camada é suficiente para muitos problemas;

89 Aplicações Compressão de Dados;
Quando usado em redes autoassociativas, por exemplo;

90 Variações Variações

91 Sumário Variações Quanto à Atualização dos Pesos
Variações Quanto à Função de Ativação Backpropagation Estritamente Local Número de camadas ocultas

92 Quanto à Atualização dos Pesos
Momento Atualização em “Batch” dos Pesos Taxas de Aprendizado Adaptativas

93 Momento O ritmo de cada mudança deve ser considerado;
Onde 0 < μ < 1

94 Atualização em “Batch” dos Pesos
Acumular as correções e efetuar todas ao mesmo tempo após vários padrões, ou mesmo ao fim de cada época;

95 Taxas de Aprendizado Adaptativas
Taxa de aprendizado varia durante o treinamento;

96 Taxas de Aprendizado Adaptativas
Delta-Barra-Delta Enquanto o sinal da mudança de peso permanecer o mesmo, aumente a taxa de aprendizado referente a esse peso; Quando o sinal da mudança de peso mudar, reduza a taxa de aprendizado referente a esse peso;

97 Taxas de Aprendizado Adaptativas
Delta-Barra-Delta 0 < β < 1

98 Taxas de Aprendizado Adaptativas
Delta-Barra-Delta

99 Taxas de Aprendizado Adaptativas
Método Sucessos Épocas Backpropagation 24 Backpropagation com momento 25 2056.3 Delta-Barra-Delta 22 447.3

100 Quanto à Função de Ativação
Função Sigmóide Customizada para Padrões de Treinamento Parâmetro Slope Adaptativo para Sigmóide Outra Função Sigmóide Função de Ativação Não-Saturante Função de Ativação Não-Sigmóide

101 Função Sigmóide Customizada para Padrões de Treinamento

102 Parâmetro Slope Adaptativo para Sigmóide

103 Outra Função Sigmóide

104 Função de Ativação Não-Saturante

105 Função de Ativação Não-Sigmóide

106 Backpropagation Estritamente Local
Problemas de plausibilidade biológica; Backpropagation requer compartilhamento de informações entre unidades; Dividir em unidades corticais, sinápticas e talâmicas;

107 Número de Camadas Ocultas
Uma camada é suficiente para qualquer problema de aproximação de função; Alguns problemas podem ser mais fáceis de resolver com duas camadas ocultas; Basta estender os passos a serem executados;

108 Número de Camadas Ocultas

109 Resultados Teóricos Resultados Teóricos

110 Sumário Derivação das Regras de Aprendizado

111 Derivação das Regras de Aprendizado
No Standard Backpropagation

112 Derivação das Regras de Aprendizado
No Standard Backpropagation

113 Derivação das Regras de Aprendizado
No Standard Backpropagation

114 Kohonen Kohonen Aula 10

115 Sumário Introdução Características Arquitetura Vizinhança Algoritmo
Observações Aplicação

116 Introdução Classificação até agora
Rede podia retornar mais de um sinal de saída; É necessário forçar a rede a tomar uma decisão Competição; O vencedor leva tudo;

117 Introdução MAXNET; Chapéu Mexicano;
Quantização do Vetor de Aprendizagem (LQV); Mapeamento auto-organizável de Kohonen.

118 Características Preserva topologias; Treinamento não-supervisionado
Busca similaridades nos vetores e agrupa-os;

119 Características Aprendizado Kohonen
Combinação linear do antigo vetor-peso e do vetor de entrada atual; Somente para o vetor peso mais próximo e sua vizinhança!

120 Características Calculando o vetor-peso mais próximo...
Distância euclidiana; Produto escalar  comparação do y_in de cada unidade;

121 Arquitetura

122 Vizinhança

123 Algoritmo Inicialize pesos
Estabeleça parâmetros de vizinhança topológica Estabeleça parâmetros de taxa de aprendizado

124 Algoritmo Enquanto condição de parada for falsa, faça
Para cada vetor de entrada x, faça Para cada j Dj = 0 Para cada i Dj = Dj + (wij – xi)2

125 Algoritmo Encontre índice J tal que DJ seja mínimo
Para todas as unidades j na vizinhança especificada de J Para todos os i wij = wij + α[xi - wij] Atualize taxa de aprendizado Reduza raio da vizinhança topológica em tempos determinados

126 Observações A taxa de aprendizado decresce lentamente em função do tempo; O raio de vizinhança também decresce enquanto o processo de clustering progride; Valores aleatórios podem ser estabelecidos para os pesos inicialmente.

127 [ Aplicação em breve disponível no site ]

128 Redes Neurais Artificiais em Jogos
Aula 11

129 Sumário Técnicas de IA em Jogos Por que IA em Jogos?
Por que RNA em Jogos? Casos de RNA em Jogos Smart Sweepers 1 Smart Sweepers 2 Neat Sweepers Brainy Aliens Neat Invaders GNU Mages Docking Station – Creatures Considerações Finais Referências Bibliográficas

130 Técnicas de IA em Jogos Máquinas de Estados Finitos e Scripts
(TATAI, s.d.) Máquinas de Estados Finitos e Scripts Jogos de Estratégia, de RPG, FPS, Luta, etc. Mortal Kombat Unreal Total Annihilation

131 Técnicas de IA em Jogos Estratégias de Busca Tradicionais
(TATAI, s.d.) Estratégias de Busca Tradicionais Algoritmos minimax e pathfinding; Busca em profundidade / largura, backtracking; Jogos de Tabuleiro, Estratégia, RPG, Ação, etc; Jogo de Xadrez Pacman

132 ? Técnicas de IA em Jogos Algoritmos Genéticos
(TATAI, s.d.) Algoritmos Genéticos Jogos de Estratégia ou de Simulação; Permite o aprendizado por meio da evolução! q ? Muitos jogos podem se utilizar de algoritmos genéticos com sucesso

133 Técnicas de IA em Jogos Redes Neurais Artificiais (TATAI, s.d.)
Docking Station (série Creatures)

134 Técnicas de IA em Jogos (TATAI, s.d.) Sistemas Nebulosos ??? q ?

135 Técnicas de IA em Jogos E NeuroEvolution?
(TATAI, s.d.) E NeuroEvolution? Redes Neurais + Algoritmos Genéticos;

136 Por que IA em Jogos? O jogador quer um inimigo: Reativo; Proativo;
Com “comportamento humano”; Que se aperfeiçoe durante o jogo;

137 Por que RNA em Jogos? Usada principalmente em simulações (VIEIRA, 2005) Docking Station, da GameWare Development;

138 Casos de RNA em Jogos Smart Sweepers 1; Smart Sweepers 2;
Neat Sweepers; Brainy Aliens; Neat Invaders; GNU Mages; Docking Stations – Creatures;

139 Smart Sweepers 1

140 Smart Sweepers 2

141 Neat Sweepers

142 Brainy Aliens

143 Neat Invaders Ferramentas Como pontuar cada inimigo? Para cada inimigo
Delphi DelphiNEAT Library GR32 Library PNGDelphi Como pontuar cada inimigo? Para cada inimigo Entrada Coordenadas do jogador Se pode disparar ou não Vetor velocidade Vetor distância do míssil mais próximo Saída Vetor aceleração Se dispara ou não

144 Neat Invaders NeuroEvolution Augmenting Topologies

145 GNU Mages Capture the Flag; Em Java; Editor de mapas;

146 GNU Mages

147 Docking Station - Creatures
GameWare Development; Simulador de vida de criaturas; Evolução das mesmas; Sociabilização com outras criaturas;

148 Docking Station - Creatures

149 Considerações Finais Ainda nos primeiros passos...
Que outros gêneros de jogos poderão usar NeuroEvolution? Que benefícios o uso de Redes Neurais e Algoritmos Genéticos podem trazer aos jogos?

150 Referências Bibliográficas
BUCKLAND, Matt, AI Techniques for Game Programming, Premier Press, 2002 FAUSETT, Laurene, Fundamentals of Neural Networks – Architectures, Algorithms and Applications TATAI, Victor K, Técnicas de Sistemas Inteligentes Aplicadas ao Desenvolvimento de Jogos de Computador, Universidade Estadual de Campinas, s.d. VIEIRA, Vicente, Revolution AI Engine – Desenvolvimento de um Motor de Inteligência Artificial para a Criação de Jogos Eletrônicos, UFPE, 2005

151 FIM!!! FIM!!!