Processadores Neurais “Chips neurais” Prof. Stela Ednaldo José Ferreira

Conteúdo Histórico Introdução Modelamento Aprendizado em RNA Processador Neural Conclusão

Trabalhos & Autores Histórico 1943 - McCulloch & Pitts Concentra-se em descrever um modelo artificial de um neurônio e apresentar suas capacidades computacionais 1949 - Donald Hebb Propoe uma teoria para explicar o aprendizado em neurônios biológicos baseado no reforço das ligações sinápticas Widrow e Hoff (60) Apresenta um regra para treinamento de um nodo (neurônio) que ficou conhecida com REGRA DELTA 1958 - Frank Rosemblatt Modelo Perceptron - MLP (camadas: entrada, intermediaria e saída)

Trabalhos & Autores Histórico 1969 - Minsky e Papert Demonstra as atividade que um perceptron não poderia executar Anos 70 Abordagem conexionista adormecida 1982 - John Hopfield Propriedades das redes associativas 1986 - Regra delta generalizada - Backpropagation

Neurônio Biológico Introdução Dendritos: Ramificações que conduzem o sinal para o corpo celular Soma: Promove a integração dos impulsos Axônio: Conecta a célula nervosa a outras do sistema nervoso

Introdução A Comunicação Química Elétrica Elétrico - Potencial de Ação

A Comunicação Introdução O potencial de ação é provocado no axônio de um neurônio pelo efeito combinado de todos os estímulos excitatórios e inibitórios que chegam a sua árvore dentrital.

Primeiros Modelos Modelamento Modelo de primeira ordem A simplificação de McCulloch & Pitts

Primeiros Modelos A B Modelamento McCulloch & Pitts Discriminador Linear X2 X1 B A

Classificação do Aprendizado Aprendizado Supervisionado Imagem e domínio conhecidos durante a fase de treinamento. Aprendizado Não Supervisionado Imagem é encontrada (“agrupada”) automaticamente pela rede a partir do domínio Aprendizado por Reforço Apenas um indicativo do erro é fornecido

Perceptron Principais Redes Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0 Função de Saída X1 X2 X3 W1 W2 W3 y Função de Ativação Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0 Para x1 = 1, x2 = 1 e x3 = 0 ==> d = 1 . Para x1 = 0, x2 = 0 e x3 = 0 ==> d = 1 Exemplo de Aprendizado supervisionado para um simples perceptron

Wi (t+1) = Wi(t) + n.e.Xi (t) Principais Redes Perceptron A equação geral para atualização dos Pesos Wi (t+1) = Wi(t) + n.e.Xi (t) onde: n Taxa de aprendizado Wi Peso entre o neurônio e a entrada Xi e erro entre a saída Yk e a o valor desejado dk e = (dk - Yk)

Perceptron n.X W(t) W(t+1) X Principais Redes O processo de aprendizado n.X W(t) W(t+1) X

Adaline (Widrow & Hoff) Principais Redes Adaline (Widrow & Hoff) Adaline - Adaptative linear element - Adaptative linear neuron

Adaline - Aprendizado Principais Redes Método do Gradiente Descendente Derivar a função de erro - em relação as pesos da rede

n = Adaline - Aprendizado Wi (t+1) = Wi(t) + n.e.Xi (t) Principais Redes Adaline - Aprendizado Método do Gradiente Descendente Somar o vetor gradiente descendente ao vetor peso n = Wi (t+1) = Wi(t) + n.e.Xi (t)

Redes Multicamadas - MLP Principais Redes Redes Multicamadas - MLP Fase Forward Fase Backward

Redes Multicamadas - MLP Principais Redes Redes Multicamadas - MLP Aprendizado - Back propagation Baseado na regra delta => regra delta generalizada Wji (t+1) = Wji(t) + n. .Xi (t) Camada Intermediária Camada de Saída

Por que usar processadores neurais ? Velocidade As redes neurais já possuem um paralelismo intrínseco característico. Portanto, múltiplos elementos de processamento (EP’s) em um chip neural pode garantir alta velocidade de processamento

Quando usar chips neurais ? Quando a implementação em software não é suficiente. Quando a implementação em hardware seqüencial não é suficiente.

Aplicações de processadores neurais OCR (Reconhecimento ótico de caracteres) Reconhecimento de Voz HEP (High Energy Physics) Aplicações comerciais de OCR on chip Aplicações em Telefones Celulares, Brinquedos, etc

Especificação de Hardware Neural Três categorias básicas: Digital Analógica Híbrida Características Genéricas: Aprendizado: on-chip ou off-chip Arquitetura da rede Número de neurônios (Elemento de Processamento) Função de Transferencia: on-chip ou off-chip ou LUT Bits de precisão (pesos) Tamanho do Acumulador em Bits Preço

Parâmetros de comparação de Performance CPS (Connection Per Second) Número de operações de multiplicação e armazenamento por segundo na fase de forward CUPS (Connection Updates Per Sec) Medida da velocidade de aprendizado da rede - fase backward Não há ainda um conjunto de parâmetros que garanta um bom Benchmark

Digital Projeto digital: Arquiteturas em camadas SIMD RBF (Função Base Radial) Vantagens da tecnologia digital Técnicas de fabricação bastante precisa O pesos são armazenados em RAM Operações aritméticas exatas para número de bits dos acumuladores e operandos Fácil integração para maioria das aplicações

Digital Desvantagens da tecnologia digital Operações digitais mais “lentas” que os sistemas analógicos - (Wji * Xi ) O mundo real é analógico - um sensor necessita de conversão D.A. para se adaptar a tecnologia

Digital - Projeto digital Arquiteturas em camada Micro Devices MD1220 SIMD Adaptive Solutions N64000 RBF (Função Base Radial) Nestor Ni1000

Analógica Vantagens Explora as propriedades físicas para as operações da rede .: Alta velocidade Desvantagens Projeto pode ser difícil (considerações de temperatura, manufatura, etc) Armazenamento dos pesos Pesos x Entrada deve ser linear em toda escala Chip: Intel Electrically Trainable Neural Network (ETANN)

Híbrida Combina o melhor das duas tecnologias Processamento interno é analógico, garantindo velocidade. Porém os pesos são armazenados na forma digital Redes de Pulso: Usa largura de pulso para emular amplitude dos pesos, das entradas e das saídas da rede Chip: Neuroclassificador do Instituto Mesa - Univ. Twente (20 ns - forward)

Adaptive Solutions CNAPServer VME System Cartões Aceleradores e Neurocomputadores Neurocomputadores: sistemas dedicados com hardware e software elaborados para aplicações neurais Objetivo: Aplicações em alta escala: OCR Adaptive Solutions CNAPServer VME System Cartões Aceleradores: Uma alternativa, mais barata que os Neurocomputadores. Permite acoplar um sistema neural a um PC (por exemplo) através de um cartão IBM ZISC ISA

Cartões Aceleradores - TOTEM

TOTEM NeuroChips NC3002 NC3003 Algoritmo de aprendizado Reactive Tabu Search (RTS)

TOTEM - Aspectos Avançados Multiplicação sem módulos multiplicadores

Conclusões O custo dos chips neurais é ainda relativamente alto e por isso ainda não emplacaram comercialmente como os chips Fuzzy. A comercialização dos chips neurais ainda depende de um outro fator que está ligado ao número de adeptos a tecnologia neural. Por se tratar de uma ciência relativamente recente temos poucos profissionais realmente conhecedores dessa técnica, mas acredito que com o tempo teremos mais profissionais usando chips neurais e aplicando-o na industria. Isso deve reduzir o custo e incentivar a produção e o comércio.

Bibliografia 1. R. De Mori, R. Cardim, "A new design approach to binary logarithm computation", Signal processing, 13 (2), Sept. 1987, pp. 177-195. 2. B. Hoefflinger "Efficient VLSI digital logarithmic codecs", Electronics Letters, 27(13), June 1991, pp. 1132-1134. 3. E. E. Swartzlander, A .G. Alexopoulos, "The sign logarithm number system", IEEE Trans. on Computers, C-24(12),Dec. 1975, pp. 1238-1242. 4. P. Lee, L. A .Zorat, A . Sartori, G. Tecchiolli "Advances in The Design of The Totem Neurochip", World Scientific Publishing Company, 5. Z. L. Kovács, "Redes Neurais Artificiais Fundamentos e Aplicações", Edição Acadêmica São Paulo, 1996. 6. R. Battiti, G. Tecchiolli, "Training neural nets with the Reactive Tabu Search". IEEE Transactions on Neural Networks, 6(5) 1995, pp. 1185-1200. Sites 1. www.neuricam.com 2. uhavax.hatford.edu 3. neuralnets.web.cern.ch 4. msia02.msi.se 5. lionhrtpub.com

FIM Ednaldo José Ferreira