1 Projeto Híbrido de Redes Neurais Ricardo Bastos C. Prudêncio Orientação: Teresa B. Ludermir CIn - UFPE Jan - 2002.

Apresentação em tema: "1 Projeto Híbrido de Redes Neurais Ricardo Bastos C. Prudêncio Orientação: Teresa B. Ludermir CIn - UFPE Jan - 2002."— Transcrição da apresentação:

1 1 Projeto Híbrido de Redes Neurais Ricardo Bastos C. Prudêncio Orientação: Teresa B. Ludermir CIn - UFPE Jan - 2002

2 2 Roteiro Introdução Uso de Conhecimento para o Projeto de RNAs Uso de Busca para o Projeto de RNAs: Algoritmos Genéticos Um Novo Modelo de Automatização: Raciocínio Baseado em Casos e Algoritmos Genéticos Treinamento Híbrido de Redes Neurais Considerações Finais

3 3 Redes Neurais Artificiais Possuem diversas vantagens que as tornam bem sucedidas em uma diversidade de problemas  Poder computacional, tolerância a falhas, tolerância a ruído, incompletude e inconsistência nos dados, etc... O sucesso de uma rede neural depende de um projeto bem realizado

4 4 Projeto de Redes Neurais Preparação dos Dados  Seleção, transformações, limpeza, etc… Escolha do Modelo e da Arquitetura  MLP, RBF, Elman, Jordan, GMDH, etc…  N°. de camadas, n°. de neurônios, etc… Treinamento dos Pesos  Backpropagation, Gradientes Conjugados, etc…  Taxa de aprendizado, momentum, etc… Avaliação  Medida de desempenho

5 5 Projeto Automático de Redes Neurais Objetivo:  Automatizar total ou parcialmente o projeto das redes neurais. Motivações:  Facilitar o projeto das redes neurais.  Otimizar o desempenho das redes neurais. Abordagens:  Uso de conhecimento (teórico ou experimental, do domínio ou geral)  Uso de técnicas de busca

6 6 Uso de Conhecimento para o Projeto de RNAs Conhecimento do domínio:  técnicas que transformam conhecimento simbólico sobre o domínio em redes neurais. Conhecimento geral:  conhecimento adquirido pela experiência em resolver problemas de diferentes domínios.

7 7 Conhecimento do Domínio Algoritmo KBANN (Knowledge Based Artificial Neural Network) Conjunto Inicial de Regras Conjunto de Regras Reescritas Rede Gerada com as Regras A A1A1 A2A2 BCDE OR AND A :- B, C, D A :- D, E A :- A 1 A 1 :- B, C, D A :- A 2 A 2 :- D, E ReescritaInserção das regras

8 8 Conhecimento Geral Conhecimento válido para diversos domínios Relaciona as características do problema com os parâmetros do projeto. Sistemas Especialistas  Exemplo: Regras Fuzzy Algoritmos de Aprendizado.  Exemplo: Raciocínio Baseado em Casos (RBC)

9 9 Uso de Busca para o Projeto de RNAs: Algoritmos Genéticos Abordam o projeto de RNAs como um problema de busca e otimização. Por que AGs???  Menos sensíveis a mínimos locais  Otimizam uma grande quantidade de funções Inúmeros usos no projeto:  Definição da arquitetura  Aprendizado dos pesos.

10 10 Algoritmos Genéticos para o Projeto de RNAs  Cromossomo: codifica a rede neural  Operadores genéticos: exploram o espaço de busca das redes.  Função de aptidão: representa a função de desempenho da rede para o problema abordado 10 01 01000011010000111001100000111011 49 3 34 9 38 11 Pai-1 Pai-2 Filho-1

11 11 Projeto Híbrido de Redes Neurais Integra diferentes técnicas de IA para o projeto automático de redes neurais Estudo de Sistemas Neurais Híbridos Contribuições:  Modelo de Automatização Raciocínio Baseado em Casos e Algoritmos Genéticos  Treinamento Híbrido de Redes Neurais AGs e Levenberg-Marquardt

12 12 Um Novo Modelo de Automatização: RBC e AG Projeto das redes é tratado de forma híbrida:  uso de conhecimento e busca. Conhecimento é usado para iniciar o processo de busca. Base de casos é usada para inicializar a primeira população dos AGs. No modelo proposto, RBC manipula o conhecimento e AGs realizam a busca.

13 13 Exemplo de Caso no Domínio de Previsão de Séries Temporais Caso 1 PROBLEMA SOLUÇÃO Série Temporal[0.2, 0.3,..., 1.2]ModeloRede NARX Média da Série0.625ArquiteturaJanela tempo=2 Desvio Padrão0.12 Cam contexto=1 Autocorrelação[1, 0.76,.., 0.1] camada oculta=4 SazonalidadeNãoAlgoritmoBackpropagation TendênciaSimTaxa Apren.0.2

14 14 Representação do Caso como Cromossomo 1 - 2 - 1 - 4 - 1 - 0.2 Categoria “Rede NARX” associada ao valor 1 Camada de contexto (sem transformações) Categoria “Backpropagation” associada ao valor 1 Janela de tempo (sem transformações) Camada oculta (sem transformações) Taxa de aprendizado (sem transformações) Cromossomo 1

15 15 Protótipo Definição da arquitetura da redes NARMAX para previsão de séries temporais:  Tamanho da janela de tempo  Tamanho da camada de contexto  Tamanho da camada oculta Modelos Univariados Implementação em MATLAB 5.0

16 16 Protótipo - Arquitetura Módulo de Processamento (PROC) Módulo Gerenciador da Base de Casos (GBC) Módulo Algoritmo Genético (AG) Módulo de Treinamento (TR) Rede treinada + resultados Série temporal novo caso GBC AG TR Arquiteturas sugeridas PROC Série processada

17 17 Protótipo – Módulo PROC Facilitar a modelagem das séries Eliminação da Tendência: aplicação do operador de diferenciação Eliminação da Sazonalidade: aplicação do operador de diferenciação sazonal

18 18 Protótipo – Módulo AG Representação vetorial 2 - 1 - 2 Z Zt Z t- 1 Z t- 2 e t- 1 e

19 19 Operador de Mutação Função de Aptidão: MSE (Mean Squared Error) do conjunto de validação (estimativa do poder de generalização) Protótipo – Módulo AG p i + 1; if   0.5 p i – 1;if   0.5 p i+1 =   U(0;1)

20 20 Protótipo – Módulo GBC Casos usam a mesma representação usada nos cromossomos 47 casos  Arquiteturas geradas pelos AGs para 47 séries temporais extraídas da literatura. Medida de Similaridade:  Distância Euclidiana entre as 10 primeiras autocorrelações das séries.

21 21 Protótipo – Módulo TR Algoritmo de Levenberg Marquardt Cada série temporal é igualmente dividida em três conjuntos de dados:  treinamento, validação e teste. Critérios de parada (Proben):  número máximo de iterações  perda de generalidade  parada no progresso de treinamento

22 22 Testes (I) Objetivo: Avaliar a utilidade da base de casos na inicialização dos AGs. AGs inicializados com casos vs. AGs com inicialização aleatória Avalia ç ão para 3 s é ries temporais. 5 execu ç ões para cada s é rie temporal  # de Cromossomos: 4  # de Gera ç ões: 5

23 23 Resultados (I) Série 1: Média MSE Treinamento Média MSE Validação Média MSE Teste RBC-AG126131,15186623,70149631,48 AG104408,96198346,50160808,85 Ganhos nos conjuntos de validação e teste

24 24 Resultados (I) Série 2: Média MSE Treinamento Média MSE Validação Média MSE Teste RBC-AG14102,0841050,4485318,92 AG 11508,0042436,1996287,59 Ganhos nos conjuntos de validação e teste

25 25 Resultados (I) Série 3: Média MSE Treinamento Média MSE Validação Média MSE Teste RBC-AG1355,281559,111359,75 AG1474,611686,901411,46 Ganhos nos três conjuntos de dados

26 26 Resultados (I) Média do Número de Conexões Ganho nas três séries de teste AGRBC-AGGanho % Série 111,26,244,64 Série 221,013,635,24 Série 330,25,083,44

27 27 Conclusões (I) AGs inicializados com casos geraram redes com menor erro de validação e de teste. AGs inicializados com casos geraram redes com menor número de conexões. Montagem de uma base com 50 casos. Base de casos adquiriu conhecimento útil.

28 28 Trabalhos Futuros (I) Implementar outras medidas de similaridade, com seleção de atributos. Extrair conhecimento simbólico a partir da base de casos. Extensão do modelo para outros parâmetros do projeto. Aplicação do modelo em outros problemas.

29 29 Treinamento Híbrido de Redes Neurais Algoritmos Genéticos são bons em buscas globais, porém ineficientes em busca locais. Técnicas de Gradiente são boas em busca locais, porém ineficientes em buscas globais. Combinações das duas técnicas podem gerar algoritmos de treinamento mais eficientes.

30 30 Treinamento Híbrido – AGs e Levenberg-Marquardt (LM) AGs são usados para definir os pesos iniciais da rede para o algoritmo de LM. Algoritmo LM é executado tamanho da população X número de gerações vezes Algoritmos Genéticos Algoritmo LM Evolução Algoritmo LM Evolução Algoritmo LM Evolução Configurações de pesos iniciais

31 31 Algoritmos Genéticos Representação direta Z Zt Z t-12 Z t-1... H1H1 H 5 00 55 11 0.21... -0.130.37... -0.030.22... -0.35 12x5 pesos da camada de entrada 5 pesos da camada oculta 1 bias da saída + 5 bias da camada oculta

32 32 Algoritmos Genéticos Mutação Gaussiana sobre cada peso p i+1 = p i +    N(0,  2 ) Função de Aptidão = MSE do conjunto de validação após treinamento com LM.

33 33 Levenberg-Marquardt A série temporal foi igualmente dividida em três conjuntos de dados  treinamento, validação e teste Critérios de parada (Proben)  número máximo de iterações  perda de generalidade  parada no progresso de treinamento

34 34 Testes (II) Rede NARX com janela de tempo de tamanho 12 e 5 neurônios na camada oculta Dados:  Série temporal com 300 pontos representando vazões da bacia de Guarapiranga Algoritmo Híbrido vs. LM com inicialização aleatória Cada procedimento retorna a rede com menor erro de validação gerada

35 35 Testes (II) Parâmetros da mutação fixos  Taxa de Mutação = 0.1  Desvio da Mutação Gaussiana = 0.3 Tamanho da população e número de gerações variaram  (5x10), (10x10) e (10x20) Algoritmo LM com três taxas de aprendizado:  0.1, 2.0 e 10.0

36 36 Resultados (II) taxa = 0.1 Taxa = 0,1 Média MSE Treinamento Média MSE Validação Média MSE Teste Tempo total de execução Aleatório(50)21,758438,204042,931619 min Aleatório(100)22,798837,825642,754438 min Aleatório(200)23,746737,587140,903776 min AG(5x10)22,735036,448240,546612 min AG(10x10)22,305735,536140,852023 min AG(10x20)23,340135,238040,415345 min

37 37 Resultados (II) taxa = 2.0 Taxa = 2,0 Média MSE Treinamento Média MSE Validação Média MSE Teste Tempo total de execução Aleatório(50)22,272437,310536,203123 min Aleatório(100)22,649136,775036,355847 min Aleatório(200)22,895836,533537,562394 min AG(5x10)24,147836,420739,069112 min AG(10x10)24,653135,342538,127023 min AG(10x20)22,643334,198340,614249 min

38 38 Resultados (II) taxa = 10.0 Taxa = 10,0 Média MSE Treinamento Média MSE Validação Média MSE Teste Tempo total de execução Aleatório(50)22,707735,847934,985530 min Aleatório(100)21,944735,414834,413868 min Aleatório(200)22,709235,514935,6331120 min AG(5x10)21,461935,671636,218113 min AG(10x10)21,955634,680336,179724 min AG(10x20)22,986634,048136,807347 min

39 39 Conclusões (II) Trabalho original  Integração dos AGs com o algoritmo de Levenberg-Marquadt O algoritmo híbrido sempre encontrou redes com menor erro de validação em menor tempo de execução O algoritmo híbrido obteve melhores resultados no conjunto de teste quando a taxa de aprendizado foi ruim

40 40 Trabalhos Futuros (II) Definir quando usar o algoritmo híbrido a partir do comportamento do algoritmo local. Definir de maneira apropriada os parâmetros dos AGs  taxas de mutação  desvio da mutação Gaussiana

41 41 Considerações Finais Estudo das diversas técnicas de IA que podem ser usadas no projeto de RNAs Contribuições no campo de Sistemas Híbridos Uma nova abordagem para o projeto automático de RNAs (RBC-AG) Integração dos AGs com o algoritmo de Levenberg-Marquadt

42 42 Projeto Híbrido de Redes Neurais Perguntas ???