PSI-5796 ALGORITMOS PROCESSAMENTO ANÁLISE SÍNTESE IMAGENS

PROF. DR. HAE YONG KIM ALUNO RICARDO ACERBI

3 REDES NEURAIS TALÂMICAS Introdução Aprendizado Hebbiano Aprendizado Hebbiano modificado Sinápses modeladas com base no Teorema de Bayes Modelo computacional do tálamo humano Métodos

4 Redes Talâmicas Fundamentos da Ortogonalização Talâmica Função Sigmoidal Modificada Vantagens das Redes Talâmicas Auto Organização Interna Recomposição de Padrões Bibliografia

5 Introdução Tálamo: processador eficiente de informações sensoriais, vindas do meio externo, através dos sentidos Tálamo: processador mais complexo que, juntamente com a estrutura do cortex cerebral, é capaz de recompor padrões diversos, fragmentados ou incompletos [2-3]

6 Triângulo de Kanizsa Fig. 1

7 Introdução O triângulo de Kanizsa mostra um triângulo branco no centro da figura O triângulo branco obstrui as figuras pretas (círculos) e a figura verde (triângulo) O cérebro é capaz de recompor as imagens do triângulo verde e dos círculos pretos, uma vez que já tenha antes aprendido os padrões de círculo e triângulo [2]

8 Aprendizado Hebbiano Pesquisador neurologista, Donald Hebb descobriu como as células neuronais funcionam, em Hebb partiu das descobertas anteriores do médico fisiologísta Santiago Ramon y Cajal sobre redes neurais biológicas, Konorski, em 1.948, postulou sobre a memória seria constituída por mudanças de plasticidades sinápticas entre neurônios

9 Aprendizado Hebbiano Em 1.949, Hebb postulou que a aprendizagem depende do reforço das conexões sinápticas O reforço se deve às atividades correlacionadas entre os neurônios pré- sinápticos e os pós-sinápticos Formulação matemática:  w(n)= .A(n).B(n) ( 1 )

10 Aprendizado Hebbiano O incremento do peso sináptico w, no passo n, é proporcional a atividade pré-sináptica A(n), no passo n, e a atividade pós-sináptica B(n), no passo n o fator  é chamado de coeficiente de aprendizagem [2]

11 Modelo BCM (Bienestock, Copper e Munro) Os modelos de Sejnowiski (covariância) e BCM apresentam um ponto crítico de atividade chamado “Long Term Potentiation Threshold ou LTP (limiar de potenciação sináptica) O modelo BCM apresenta um ponto de limiar mais baixo chamado LTD (Long Term Depression)

12 Eficiência sináptica Alteração da eficiência sináptica regra de covarância atividade pó-sináptica LTD LTP regra BCM Fig. 2

13 Aprendizado Hebbiano Modificado O novo modelo de aprendizado baseado no modelo de Hebb leva em conta a plasticidade e a metaplasticidade entre neurônios O novo modelo propõe que a plasticidade entre neurônios possa ser modelada por: [6] ( 2 )

14 Aprendizado Hebbiano Modificado Aprendizado: pode ser modelado por uma probabilidade condicional B: ativação pós-sináptica A: ativação pré-sináptica Se ocorre atividade pós-sinática, dado que ocorreu antes atividade pré-sináptica, ocorre um reforço ou incremento do peso w Caso contrário: ocorre um decremento do peso w

15 Aprendizado Hebbiano Modificado Se ocorre uma atividade pós-sináptica, sem que tenha ocorrido uma atividade pré-sináptica antes, não há alteração do peso w

16 Sinápses - Modelo Bayesiano As sinápses no modelo talâmico podem ser dadas pela regra Bayesiana: [2] P(y/a1) P(y/a2) P(y/a3) P(a1) P(a2) P(a3) P( y )1 P(y)=P(y/a1).P(a1)+P(y/a2).P(a2) +P(y/a3).P(a3) ( 3 ) Fig. 3

17 Modelo Computacional do Tálamo Interpretação geométrica dos valores dos pesos sinápticos em termos de probabilidades condicionadas [2] P(y/a1) P(y/a2) P(y/a3) a1 a2 y a3 Fig.4

18 Métodos Métodos principais: método axiomático (baseado em axiomas) método experimental ou hipotético método escolhido: axiomático, seguido do experimental (a parte experimental verifica a parte axiomática proposicional) composição: três níveis fundamentais

19 Métodos Nível matemático (baseado na teoria de Bayes) Nível programacional (programação em MatLab) Nível fisiológico-experimental (verificação através de experimentos já realizados por pesquisadores de renome)

20 Fundamentos da Ortogonalização Talâmica Reforço Hebbiano: único tipo de reforço plausível ao nível biológico do cérebro humano [2-3] Tálamo: ortogonaliza a informação que vem do meio externo canais semicirculares do ouvido interno (anatomicamente ortogonais) cones da retina do olho humano

21 Fundamentos da ortogonalização talâmica Captam cores cromáticas ortogonais Sinais de entrada pelos cinco sentidos: não formam bases ortogonais (base qualquer) Tálamo: constroi internamente uma base de vetores ortogonais entre si, a partir de uma base de vetores não ortogonais Representação resumida em componentes principais do sinal de entrada

22 Método Matemático de Gram-Schmidt Base de vetores yi a partir de uma base de vetores não ortogonais bi O tálamo realizaria um processos similar ao processo de Gram-Schmidt para achar um sistema de eixos ortogonais entre si Etapas: sinal externo em uma base bi qualquer [2]

23 Processo de Gram-Schmidt Base bi: b1b2 b3 Fig. 5

24 Processo de Gram-Schmidt Ortogonalização: y1 b1 Etapa a: Etapa b: y1 b2 y2 b2y1 Fig. 6

25 Processo de Gram-Schmidt Ortogonalização y1 y2 y1 y3 Fig. 7

26 Processo de Gram-Schmidt yi = b i - ( 4 ) [2]

27 Processo de Gram-Schmidt para m padrões de entrada O padrão externo na base bi será dado por: Cada componente da base ortogonal será calculado por: [2]

28 Componentes Principais Equação ( 6 ): natureza vetorial Significado: cada componente y ( para i entre 1 e n) significa uma componente principal do padrão de entrada, representado na rede talâmica na forma de probabilidade condicionada A componente y1 tem uma direção que coincide com a direção de maior variabilidade do conjunto de padrões

29 Componentes Principais As demais componentes fornecem a segunda, terceira, quarta,..., e-nésima componente principal Os padrões ficam armazenados na memória da rede na forma de componentes principais sem a necessidade de um processamento prévio de imagens para separar as componentes principais [2]

30 Função Sigmoidal Modificada Modelo computacional do neurônio: [1] x1 x2 x3 xn wo w1 w2 wn  ( ) y Fig. 8

31 Função Sigmoidal Modificada Função de ativação: a mais usada é a função sigmoidal dada por: ()()  1 1/2 Fig. 9

32 Função Sigmoidal Modificada Coeficiente de deslocamento: dado por [2]

33 Função Sigmoidal Modificada Sigmóide modificada: [2]

34 Função Sigmoidal Modificada Deslocamentos: [5] ()()  1 1/2 deslocamentos Fig. 10

35 Função Sigmoidal Modificada Objetivo: uniformizar a distribuição de neurônios vencedores na grade neural de saída, impedindo que dado que um neurônio Nx tenha ganho a competição inicialmente, não possa depois continuar ganhando sempre Problema: impede a formação de uma vizinhança de neurônios próxima daquele vencedor

36 Sigmoidal Modificada Vantagens: permite que os demais neurônios de saída tenham oportunidade de vencer também em outras épocas ( iterações), num mesmo treinamento Não necessitam de pré processamento para aprender um dado padrão de imagem São imunes a ruídos leves O treinamento é mais rápido que em outras redes

37 Auto Organização Interna Rede talâmica: modelo de associação de padrão Matriz de pesos sinápticos: transforma um conjunto de vetores de entrada, em uma base qualquer bem um conjunto de saídas ortogonais entre si.

38 Auto Organização interna As componentes principais de um padrão ficam representadas na memória de pesos w, na forma de vetores ortogonais Padrão P: representado por um conjunto finito de n-tuplas A1, A2, A3,..., Am, formando uma base universal (qualquer) Representação talâmica: cada componente yi é da forma:

39 Auto Organização Interna Base ortogonal y: [5]

40 Auto Organização Interna Fig. 11

41 Componentes Principais Na imagem anterior: as componentes principais de maior relevância seriam aquelas associadas com: parte do cabelo, sombrancelhas, olhos, nariz, boca, queixo, formato de rosto Cada componente do vetor y agrega valores de cada um desses componentes principais da imagem

42 Recomposição de Padrões Tálamo: funciona em conjunto com o cortex cerebral Composto de duas camadas: camada sensora que recebe entradas excitatórias do meio externo, assim como sinais inibitórios da segunda camada, camada inibitória que recebe sinais inibitórios da camada reticular cerebral

43 Recomposição de Padrões Camadas reticulares (tálamo): [4] N1N2Np camada cortical y1y2y3yn segunda camada reticular b1b2b3bm primeira camada reticular... excitação inibição Fig. 12

44 Recomposição de Padrões Padrão incompleto e sua recomposição:[2] Fig. 13

45 Bibliografia [1] - Haykin, S. - Neural Networks: A Comprehensive Foundation - P.Hall [2] - Pelaez, F.J.R. - Aprendizagem em um modelo computacional do Tálamo - U.S.P tese doutorado [3] - Pelaez,F.J.R. - A Formal Representation of Thalamus and Cortex Computation - Proceedings of the International Conference Brain Processes

46 Bibliografia [4] - Pelaez,F.J.R. - Plato’s Theory of Ideas Revised - Neural Networks [5] - Piqueira, J.R.C.;Pelaez,F.J.R. - Ortogonality for Hebbian Learning in the Brain - E.P.USP [6] - Shepherd, G.M.- The Synaptic Organization of the Brain - O.U.Press