Redes Neurais Hierárquicas para Implementação de Comportamentos em Agentes Autônomos Flávio de Almeida e Silva Universidade Federal de Santa Catarina Centro.

Apresentação em tema: "Redes Neurais Hierárquicas para Implementação de Comportamentos em Agentes Autônomos Flávio de Almeida e Silva Universidade Federal de Santa Catarina Centro."— Transcrição da apresentação:

1 Redes Neurais Hierárquicas para Implementação de Comportamentos em Agentes Autônomos Flávio de Almeida e Silva Universidade Federal de Santa Catarina Centro de Tecnologia Departamento de Informática e Estatística Pós-graduação em Ciência da Computação Prof. Mauro Roisenberg, Dr. Prof. Jorge Muniz Barreto, DSc. UFSC

2 PUBLICAÇÕES SILVA, Flávio de Almeida e; ROISENBERG, Mauro; BARRETO, Jorge Muniz. Redes Neurais Hierárquicas para Implementação de Comportamentos em Agentes Autônomos. Congresso Brasileiro de Automática – CBA 2000. Setembro 2000. * Submetido ao Congresso Brasileiro de Redes Neurais - CBRN

3 ORGANIZAÇÃO DA APRESENTAÇÃO 1.Introdução –Motivação –Objetivos 2.A Evolução Biológica, Sistema Nervoso e Comportamento Animal 3.Alternativas de Implementações para Sistemas Móveis 4.Controle Hierárquico dos Comportamentos de um Agente Autônomo –Ambiente para o Desenvolvimento: Khepera Simulator 5.Conclusão

4 Introdução Buscar AA's com repertório de comportamentos e grau de autonomia cada vez maior. Existe no animal um mecanismo de avaliação e seleção de comportamentos – Inspiração Biológica. Baseado no sistema nervoso dos seres vivos, desenvolver um equivalente computacional que é uma arquitetura hierárquica de redes neurais. Motivação

5 Introdução Estudo e utilização de Redes Neurais Hierárquicas. Desenvolvimento de agentes autônomos com alto grau de inteligência e autonomia. Objetivo Principal

6 A Evolução Biológica, o Sistema Nervoso e o Comportamento Animal A EVOLUÇÃO Moléculas Célula-Conceito Padrão de Vida-CHURCHLAND (1984) Especialização das Células – Neurônios A Evolução e a Seleção Natural foram os mecanismos que a Natureza encontrou para aumentar a complexidade dos seres. O SISTEMA NERVOSO Neurônios e as sinapses: base do sistema nervoso. Completamente desenvolvidos em sistemas bem simples como celenterados (hydras) Faz a coordenação de todas as atividades do organismo. integra as sensações e idéias, ajusta fenômenos de consciência e adapta o organismo às condições do momento(ERHART, 1974). Depende de duas partes: PARTE SENSORIAL e PARTE MOTORA.PARTE SENSORIALPARTE MOTORA Ele é quem impulsiona os músculos. Tem como prioridade, em termos gerais, as instruções sobreviva e procrie. O sistema nervoso é composto pelo cérebro, medula espinhal e nervos periféricos que se estendem através do corpo. (GUYTON,1974)

7 REDES NEURAIS MODULARES Todas as Partículas Elementares fazem, de certa forma, parte de outro sistema que elas ajudam a formar. Redes Neurais Modulares estão presente em organismos vivos Um mesmo módulo é usado para executar diferentes tarefas em tempos diferentes um processo será executado por diferentes módulos em diferentes regiões do cérebro ao mesmo tempo. Estes sistemas modulares, no cérebro, podem ser de dois tipos, sendo eles vertical e horizontal.vertical e horizontal COMPORTAMENTO ANIMAL O que vem a ser o comportamento animal? Sistema Muscular: é através da sua atividade ou inatividade diante de uma situação que determinamos ou caracterizamos o comportamento. Existe uma hierarquia de controladores de comportamentos dentro do sistema nervoso. Um fator de complicação adicional vem do fato de que os comportamentos não são somente aprendidos por experiência ou ensinados. Grande parte dos comportamentos já está pré-fiados. Classes de Comportamentos. A Evolução Biológica, o Sistema Nervoso e o Comportamento Animal

8 Alternativas de Implementação para Sistemas Móveis Um controlador baseado em comportamento é dividido em camadas. Cada camada é responsável por um tipo de comportamento ou tarefa a ser executada pelo sistema global. A falha de qualquer das camadas não significa, necessariamente, o colapso total do sistema. As entradas de cada máquina de estado finito podem ser suprimidas e as saídas podem ser inibidas por outras máquinas Arquitetura em camadas de comportamentos da Subsumption Architecture BROOKS: Subsumption Architecture e ALVES: Arquitetura de Assunção

9 Alternativas de Implementação para Sistemas Móveis Um dos principais problemas desta arquitetura é: A adaptação a outras tarefas fica muito difícil, uma vez que, será difícil a reconfiguração do sistema, pois, existe uma interdependência entre os comportamentos implementados Esquema Inibidor/Supressor para camada de comportamento

10 Alternativas de Implementação para Sistemas Móveis Os comportamentos obtidos com estes AAs são do tipo reflexivos. AAs são robôs montados através dos tijolos da LEGO. Nomes: Timid, Indecisive, Paranoid, etc. HOGG et al (1991): Criaturas de Braitenberg Paranoid (Paranóico) Encontrar Luz

11 Controle Hierárquico dos Comportamentos de um Agente Autônomo Inspiração na Natureza. Controle refinado do comportamento dos AA's.Controle refinado do comportamento Favorecer um comportamento robusto e flexível. Comportamentos Reflexivos e Reativos. Rede Neural Artificial Hierárquica

12 Controle Hierárquico dos Comportamentos de um Agente Autônomo Rede Neural Artificial Hierárquica

13 Prioridade de Comportamento Segurar um objeto quente ou largá-lo? Segurar um objeto importante, mas que está quente ou largá-lo? Controle Hierárquico dos Comportamentos de um Agente Autônomo

14 Definições e o aprendizado da Rede Hierárquica Algoritmo de Treinamento: Backpropagation Treinamento das Redes: Off-line Definições dos Conjuntos de Treinamento para as Redes Feedforward(Subsistema Sensório e Subsistema Motor).Treinamento Rede Recorrente para o Controle do Sistema Motor. Controle Hierárquico dos Comportamentos de um Agente Autônomo

15 Definições das Redes Feedforward Rede responsável pela detecção de Obstáculos (Rede KhepDist) do Sistema Sensório. Rede responsável pela detecção de Luz (Rede KhepLuz) do Sistema Sensório. Rede responsável pelo controle dos motores (Rede KhepMotD) do Sistema Motor, controlada pelos sensores de Distância. Rede Responsável pelo controle dos motores (Rede KhepMotL) do Sistema Motor, controlada pelos sensores de Luz. Controle Hierárquico dos Comportamentos de um Agente Autônomo

16 Definição da Rede de Controle Encontrou Luz Encontrou Obstáculo Não Encontrou Obstáculo Não Encontrou Luz Não Encontrou Obstáculo Não Encontrou Luz Encontrou Obstáculo 0 1 2 Encontrou Luz Não Encontrou Obstáculo Encontrou Obstáculo Não Encontrou Luz A rede é representada por um Autômata de Estado Finito. Mudança de estado depende das saídas das redes do Sistema Sensório. Controle Hierárquico dos Comportamentos de um Agente Autônomo

17

18 Ambiente de desenvolvimento Khepera Simulator

19 Conclusão A Hierarquia possibilitou a seleção de comportamentos reflexivos. Não se Chocou com obstáculos. Quando detectou Luz, foi ao seu encontro. Quando deteectou Luz atrás de um obstáculo, primeiro desviou do obstáculo. A princípio a Rede Hierárquica controlou os comportamentos implementados com satisfação.

20 Trabalhos Futuros Implementar Técnicas de IA simbólica no nível mais alto da hierarquia. IA simbólica Buscar outras alternativas como Redes Híbridas: Com Algoritmos Genéticos (AG) e ou IA Simbólica. Treinamento On-Line. Conclusão

21 FIM

22 Qualquer evento que venha causar uma perturbação ao redor do organismo é registrado pelos órgãos de sentido (parte sensorial). Este registro é feito através dos sentidos da visão, audição, olfato, paladar e tato. Sistema Sensório

23 Os Músculos: Grande parte das atividades musculares é controlada pela medula espinhal e parte inferior do tronco cerebral. Sistema Motor

24 Os mamíferos por exemplo, podem ser subdivididos em suas células, cada uma das quais podem ser subdivididas em várias organelas (partes especializadas de uma célula) posicionada no núcleo e no citoplasma (o primeiro corpo vivo de uma célula não incluindo o núcleo). Estas células são agrupadas para formar órgãos, que em troca forma o organismo inteiro. No organismo cada órgão tem uma ou mais funções específicas. Cada órgão é dividido novamente em partes com funções diferentes, e nessas partes cada célula tem suas próprias tarefas. Estes exemplos sugerem uma modularização recursiva dentro da sua própria modularização (BOERS & KUIPER, 1992) Partículas Elementares

25 A estrutura horizontal é encontrada onde os processos são executados por camadas hierárquicas subseqüentes de neurônios. Sistema Visual Primário: onde simples características de imagens visuais como linhas e arcos são representados em camadas de neurônios simples. A Estrutura Vertical se dá na existência, para todos os níveis do cérebro primata, de caminhos múltiplos de processos paralelos e esta estrutura permite o processo separado de tipos diferentes de informação. Um bom exemplo pode, mais uma vez, ser achado no sistema visual, onde diferentes aspectos de incentivos visuais como forma, colorido, movimento e posição, é processado em paralelo através dos sistemas neurais anatomicamente separados, organizados no caminho magno celular e parvo celular. Estruturas convergentes integram estes processos de informação visual separadamente no mais alto nível hierárquico para produzir uma percepção unitária (BOERS & KUIPER, 1992) Estrutura Vertical e Horizontal

26 Exemplo: Conjunto de Treinamento Tabela 5.4: Conjunto de exemplos da rede Sensória de Luz – Entradas e Saídas S.1S.2S.3S.4S.5S.6S.7S.8Saída -1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 1 1 1 1 1 1 1-1-1 1 -1-1-1 1 1 1 1 1 1 1-1-1-1 1 1 1 1 1 1 1-1-1-1 1 1 1 1 1 1 1-1-1-1 1 1 1 1 1 1 1-1-1-1 1 1 1 1 1 1 1-1-1-1 1 1 1 1 1 1 1 1 1 -1

27 Nível Mais Alto: IA Simbólica

28 Você seria capaz de dizer as cores das palavras que aparecerão abaixo?