NEOCOGNITRON

Introdução Arquiteturas como perceptron multicamadas tendem a ser de aplicação genérica. Em contraste, o neocognitron é uma rede proposta originalmente para a aplicação de reconhecimento de caracteres manuscritos. Apesar disso essa rede tem uma grande quantidade de aplicações práticas. Fukushima propôs a rede baseada no modelo biológico da visão, cujos estudos foram feitos por Hubel e Wiesel.

Sistema de Visão Biológico

Sistema de Visão Biológico

Hubel e Wiesel fizeram estudos das células nervosas do sistema visual usando microeletrodos para registrar a resposta dos neurônios individuais do córtex enquanto estimulava a retina com luzes. Aplicando uma variedade de padrões e formas, eles determinaram o estímulo particular que cada neurônio era mais sensitivo. Alguns desses campos receptivos geram uma resposta excitatória para um feixe de luz centralizado, e uma resposta inibitória para um feixe de luz mais largo em difuso.

Córtex Visual (área 17) O córtex visual é composto de seis camadas de neurônios. A maioria dos neurônios do LGN terminam nas células da camada IV. Células da camada IV projetam a um grupo de células diretamente acima chamadas de células simples. Células simples respondem a linhas de segmentos com uma orientação particular. As células simples projetam a células chamadas células complexas. As células complexas respondem a linhas tendo a mesma orientação, correspondentes às células simples, embora integrem as respostas para um campo receptivo maior. Em outras palavras, as células complexas são menos sensitivas à posição da linha na retina que as células simples. Células em diferentes camadas da área 17 projetam-se a diferentes localizações do cérebro. Por exemplo, as células da camada II e III projetam a células das áreas 18 e 19. Essas áreas contem células chamadas hipercomplexas, que respondem a linhas que formam ângulos ou cantos e que movem em várias direções ao longo do campo receptivo.

NEOCOGNITRON É o modelo que emerge dessa hierarquia de células com respostas crescentes em complexidade. Os neurônios propagam os sinais da esquerda para a direita começando da camada U0, que corresponde à camada de entrada, cujos sinais correspondem aos sinais captados pelas células fotoreceptivas da retina. Esses sinais são enviados para a camada US1 de células simples, que por sua vez enviam sinais para a camada UC1 de células complexas. Os sinais da camada UC1 são enviados para a camada US2, e assim, por diante, até a última camada. Cada conjunto de camadas USi e UCi denomina-se estágio hierárquico i da rede. Em princípio o número de estágios é ilimitado.

Em cada camada nota-se os planos celulares, compostos de um conjunto de células dispostas em forma matricial camadas plano celular saídas Camada de entrada Estágio 1 Estágio 2 Estágio 3

A hierarquia é representada por estágios, cada qual com a função de reconhecer fatores em níveis de complexidade diferentes. Quanto mais complexo o fator, maior será a hierarquia, finalizando com o último estágio, que reconhece o padrão de entrada como um todo. Os fatores mais simples são reconhecidos pelo primeiro estágio (normalmente linhas retas em várias direções) e em cada um dos próximos estágios, fatores mais complexos são reconhecidos (ângulos, extremidades, polígonos, etc.). Somente informações obtidas no estágio anterior são utilizadas pelo estágio posterior (feedforward).

Exemplo de fatores reconhecidos pelos neurônios nos 3 estágios de uma implementação do neocognitron.

Estágios e camadas Numa implementação do neocognitron pode ter quantos estágios forem necessários. No estágio 0 tem uma única camada, a camada de entrada. Todos os demais estágios contêm uma camada-S e uma camada-C. Após a camada-C do último estágio, vem a camada de saída. Camada S Camada C

Planos celulares Cada camada do neocognitron consiste de um certo número de planos celulares bidimensionais. O número de planos celulares de cada camada-S e camada-C depende do número de fatores reconhecidos pelo estágio correspondente da rede. Um plano celular é um grupo de células justapostas em forma de matriz 2D. célula Plano celular camada

Células Os planos celulares são compostos por elementos básicos de processamento, chamados células (neurônios). O número de células é o mesmo para todos os planos em uma camada, e diminui com o avanço do estágio da rede. Existem os seguintes tipos de células no neocognitron: células-S, num plano-S, serve para extrair fatores células-C, num plano-C, serve para generalização dos fatores. células-Vc, para calcular a atividade das células

Células-S Serve para extrair fatores Cada célula-S conecta-se a uma pequena área (região) de conexão, com os planos celulares da camada anterior. O tamanho da área de conexão é o mesmo para todas as células-S de uma camada. As células da camada US1 tem uma área de conexão de um único plano celular, camada de entrada. As demais camadas-S tem uma área de conexão, com cada plano celular-C do estágio anterior. . Célula-S da camada US1 Célula-S da camada US2 área de conexão entrada UC1 US2 US1

Exemplo: duas células–S disparando durante o reconhecimento de segmentos de linha vertical.

Cálculo da célula-S onde valor da célula-C peso (entrada) ( o valor de e varia proporcionalmente ao fator a ser extraído) threshold valor em (0,1) peso valor da célula-Vc (entrada) ( o valor de h varia de acordo com a atividade das células da camada anterior)

Cálculo de e pesos al células valor da célula-C (entrada) uCl-1 peso Os pesos al são diretamente proporcionais ao fator que a célula reconhece, e são maiores ou iguais a zero. e

Cálculo da célula-Vc célula-C, quadrado peso (entrada) Pesos células Os pesos cl são distribuídos de forma gaussiana positiva (monotonicamente decrescente) e o seu somatório é igual a 1. O valor de vCl é proporcional ao número de células ativas uCl-1. O peso bl(k) é maior ou igual a zero. uCl-1 célula vCl

Exemplo de pesos cl de células vcl para área de conexão 7x7 Esses valores devem ser normalizados (/s) para que a soma dos pesos seja igual a 1.

Diagrama completo de interconexão entre as células S,C e Vc uc a us c b vc Estágio l-1 Estágio l

Grafo ilustrativo para célula-S Função de ativação

Equação completa para célula-S plano celular da célula-S posição da célula-S no plano

Threshold (limiar) q 0 < q < 1 Quanto maior o limiar, maior é o fator de inibição h (menos generalização, maior seletividade à extração do fator) da célula us

Células-C As células-C tem o efeito de generalização (borramento). Recebem entradas de apenas um plano-S Os pesos das entradas são fixos, portanto não precisam de treinamento Uma célula-C conecta-se a uma pequena região do plano-S Todas as células de uma determinada camada C tem pesos iguais Pesos dl Plano 1 Plano Kl US UC

Diagrama ilustrativo das conexões das Células-C

Cálculo de uma célula-C A saída da célula C é definida como: onde dl(i) representa o peso da conexão, e Sl representa a área de conexão da célula. A função de ativação é definida como: célula-S (entrada) peso

Exemplo de pesos de interconexões das células-C com área de conexão 5x5 Os pesos dl são também funções monotonicamente decrescentes, porém o seu somatório não é normalizado para 1 como os pesos cl. Uma célula C representa um conjunto de células-S tendo as células-S centrais maiores pesos. Resulta que as células C vizinhas tem valores próximos(generalização).

Função de ativação Os valores das células C são normalizados, ficando no intervalo [0, 1).

Para a célula-C disparar, é suficiente no mínimo uma célula-S ativa na respectiva área de conexão. Em conseqüência disso, uma célula-S afeta o disparo de um grande número de células-C. A célula-C assegura à rede a tolerância a deformações e deslocamentos dos fatores. Uma célula-C dispara se existir uma célula-S ativa na área de conexão. Quando um fator é deslocado na camada de entrada, a célula-S ativa é deslocada. Se essa célula-S ativa pertencer ainda à área de conexão da célula-C, essa célula-C continua disparando, garantindo a tolerância a deslocamentos dos fatores. A tolerância será tanto maior quanto for a área de conexão das células-C, porém menor será a especificidade.

Treinamento Das várias camadas existentes na rede, os neurônios das camadas-S são os que recebem o treinamento, usando o paradigma de treinamento supervisionado ou não-supervisionado. os pesos pesos a e b são treinados os pesos c são fixos Os neurônios da camada de entrada, obviamente não necessitam de treinamento. Já, os neurônios das camadas-C, tem seus pesos de conexões pré-fixados, e não precisam de treinamento. os pesos d são fixos O treinamento da rede é realizado de forma hierárquica, da esquerda para a direita, de estágios de níveis mais baixos para os estágios de níveis mais altos.

TREINAMENTO NÃO-SUPERVISIONADO Lembramos que, na aprendizagem não-supervisionada, também conhecida como auto-organizada, nao há um professor externo para supervisionar o processo de aprendizado. Para a realização da aprendizagem não-supervisionada pode-se utilizar a regra de aprendizagem competitiva.

Sequência de treinamento do neocognitron Inicialmente, nenhuma camada-S ainda recebeu treinamento. Isso significa que a primeira camada a ser treinada é a camada US1. Durante o procedimento de treinamento não-supervisionado, o sistema de aprendizagem deve competitivamente aprender a reconhecer novos fatores da camada de entrada. Como cada plano celular é responsável pelo reconhecimento de um único fator, a medida que a rede aprende a reconhecer um novo fator, a camada deve ir aumentando o número de planos celulares. Após todos os fatores correspondentes àquela camada-S tenham sido treinados, usando um conjunto de treinamento, passa-se para o treinamento da camada-S do estágio seguinte, uma vez que a camada-C não necessita de treinamento. Esse procedimento prossegue até a última camada-S. Apenas a última camada-C recebe um treinamento supervisionado, para o estabelecimento das classes de reconhecimento.

TREINAMENTO DE UM PLANO CELULAR Para o treinamento de um plano celular é usado um plano celular especial com pequenos pesos, compartilhados entre todos as células, denominado de seed-selection-plane (SSP). Ao apresentar um padrão de entrada, os neurônios do plano SSP são capazes de dispararem para todos os fatores presentes naquele padrão, porém, com intensidades diferentes. Usando a regra de aprendizagem competitiva, é escolhido o neurônio de maior intensidade, chamado de neurônio vencedor. Se o fator correspondente a esse neurônio não tiver sido treinado até aquele momento, então é acrescentado um novo plano celular para o reconhecimento daquele fator. Caso esse fator já tiver sido treinado então existe um plano celular já treinado ativo naquela posição. Nesse caso escolhe-se um próximo neurônio vencedor. Reforça-se os pesos a e b do neurônio vencedor, e faz-se com que todos os neurônios do novo plano celular compartilhem os mesmos pesos do neurônio vencedor. Como existe apenas um único neurônio vencedor, esse tipo de treinamento é também conhecido como vencedor-leva-tudo (em inglês, winner-take-all).

Sequência de treinamento Plano 1 Planos 1 Planos já treinados Plano Kl Planos já treinados Seed selection plane (SSP) Planos Kl Novo SSP US US

REFORÇO DAS CONEXÕES ql é a taxa de aprendizado, Somente os pesos das conexões de entrada que apresentam sinais diferentes de zero serão reforçadas (aprendizado de Hebb). Os pesos a e b são reforçados de acordo com as equações: ql é a taxa de aprendizado, e indicam a posição e o plano celular do neurônio vencedor.

Exemplo de pesos iniciais al e b e fator de aprendizado, usados pelo Seed-Selection-Plane pesos al Peso b = 2.0 Fator de aprendizado ql = 20000

Algoritmo de treinamento de um estágio procedure treinar_estagio (l); begin repeat for k = 1 to Kl do computar as células-S ; for SSP computar as células-S; encontrar o vencedor no SSP; for k = 1 to Kl do if vencedor contido em planos já treinados then procura próximo vencedor no SSP until (vencedor encontrado ou não haver mais células ativas); if vencedor encontrado then begin ajustar pesos; acrescentar um novo plano entre os treinados (Kl := Kl +1) end until (não ter outras células ativas para o conjunto de treinamento);

Redução do tamanho dos planos celulares Durante a implementação da rede neocognitron é feita uma redução do tamanho dos planos celulares para que o último estágio termine com apenas um neurônio por plano celular. Assim após o processamento de cada camada-S, para cada área do plano celular é escolhido um neurônio representante daquela área, para se obter uma nova camada S’ reduzida.

Exemplo de matriz de pesos para a redução dos planos celulares Usa-se os mesmos pesos dl das células-C

Exemplo de implementação

Matriz de pesos para cálculo do contraste (on-center)

Exercício 1 Dado um padrão de entrada com valores 0 e 1: A) calcular o valor de us para o plano SSP, para a área de conexão 3x3 assinalada. a) q = 0.6 b) q = 0.7 B) calcular os novos pesos de al e b usando q = 10000 para a criação de um plano celular correspondente, usando o resultado (a). Padrão de entrada 7x7 pesos cl normalizados pesos al iniciais peso b = 1.0

Exercício 2 A) Dado o plano celular obtido no exercício 1, aplicar o padrão de entrada (ao lado) e verificar o resultado para a área assinalada, usando o limiar 0.9. B) Obter os valores para as demais células usando o limiar 0.9 C) Aplicar o plano celular C para o resultado anterior, usando uma area de conexão 3x3 com pesos dl ao lado. Pesos dl