Processadores Neurais

Apresentação em tema: "Processadores Neurais"— Transcrição da apresentação:

1 Processadores Neurais
“Chips neurais” Prof. Stela Ednaldo José Ferreira

2 Conteúdo Histórico Introdução Modelamento Aprendizado em RNA
Processador Neural Conclusão

3 Trabalhos & Autores Histórico 1943 - McCulloch & Pitts
Concentra-se em descrever um modelo artificial de um neurônio e apresentar suas capacidades computacionais Donald Hebb Propoe uma teoria para explicar o aprendizado em neurônios biológicos baseado no reforço das ligações sinápticas Widrow e Hoff (60) Apresenta um regra para treinamento de um nodo (neurônio) que ficou conhecida com REGRA DELTA Frank Rosemblatt Modelo Perceptron - MLP (camadas: entrada, intermediaria e saída)

4 Trabalhos & Autores Histórico 1969 - Minsky e Papert
Demonstra as atividade que um perceptron não poderia executar Anos 70 Abordagem conexionista adormecida John Hopfield Propriedades das redes associativas Regra delta generalizada - Backpropagation

5 Neurônio Biológico Introdução
Dendritos: Ramificações que conduzem o sinal para o corpo celular Soma: Promove a integração dos impulsos Axônio: Conecta a célula nervosa a outras do sistema nervoso

6 Introdução A Comunicação Química Elétrica Elétrico - Potencial de Ação

7 A Comunicação Introdução
O potencial de ação é provocado no axônio de um neurônio pelo efeito combinado de todos os estímulos excitatórios e inibitórios que chegam a sua árvore dentrital.

8

9 Primeiros Modelos Modelamento Modelo de primeira ordem
A simplificação de McCulloch & Pitts

10 Primeiros Modelos A B Modelamento McCulloch & Pitts
Discriminador Linear X2 X1 B A

11 Classificação do Aprendizado
Aprendizado Supervisionado Imagem e domínio conhecidos durante a fase de treinamento. Aprendizado Não Supervisionado Imagem é encontrada (“agrupada”) automaticamente pela rede a partir do domínio Aprendizado por Reforço Apenas um indicativo do erro é fornecido

12 Perceptron Principais Redes Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0
Função de Saída X1 X2 X3 W1 W2 W3 y Função de Ativação Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0 Para x1 = 1, x2 = 1 e x3 = 0 ==> d = 1 . Para x1 = 0, x2 = 0 e x3 = 0 ==> d = 1 Exemplo de Aprendizado supervisionado para um simples perceptron

13 Wi (t+1) = Wi(t) + n.e.Xi (t)
Principais Redes Perceptron A equação geral para atualização dos Pesos Wi (t+1) = Wi(t) + n.e.Xi (t) onde: n Taxa de aprendizado Wi Peso entre o neurônio e a entrada Xi e erro entre a saída Yk e a o valor desejado dk e = (dk - Yk)

14 Perceptron n.X W(t) W(t+1) X Principais Redes
O processo de aprendizado n.X W(t) W(t+1) X

15 Adaline (Widrow & Hoff)
Principais Redes Adaline (Widrow & Hoff) Adaline Adaptative linear element - Adaptative linear neuron

16 Adaline - Aprendizado Principais Redes Método do Gradiente Descendente
Derivar a função de erro - em relação as pesos da rede

17 n = Adaline - Aprendizado Wi (t+1) = Wi(t) + n.e.Xi (t)
Principais Redes Adaline - Aprendizado Método do Gradiente Descendente Somar o vetor gradiente descendente ao vetor peso n = Wi (t+1) = Wi(t) + n.e.Xi (t)

18 Redes Multicamadas - MLP
Principais Redes Redes Multicamadas - MLP Fase Forward Fase Backward

19 Redes Multicamadas - MLP
Principais Redes Redes Multicamadas - MLP Aprendizado - Back propagation Baseado na regra delta => regra delta generalizada Wji (t+1) = Wji(t) + n Xi (t) Camada Intermediária Camada de Saída

20 Por que usar processadores neurais ?
Velocidade As redes neurais já possuem um paralelismo intrínseco característico. Portanto, múltiplos elementos de processamento (EP’s) em um chip neural pode garantir alta velocidade de processamento

21 Quando usar chips neurais ?
Quando a implementação em software não é suficiente. Quando a implementação em hardware seqüencial não é suficiente.

22 Aplicações de processadores neurais
OCR (Reconhecimento ótico de caracteres) Reconhecimento de Voz HEP (High Energy Physics) Aplicações comerciais de OCR on chip Aplicações em Telefones Celulares, Brinquedos, etc

23 Especificação de Hardware Neural
Três categorias básicas: Digital Analógica Híbrida Características Genéricas: Aprendizado: on-chip ou off-chip Arquitetura da rede Número de neurônios (Elemento de Processamento) Função de Transferencia: on-chip ou off-chip ou LUT Bits de precisão (pesos) Tamanho do Acumulador em Bits Preço

24 Parâmetros de comparação de Performance
CPS (Connection Per Second) Número de operações de multiplicação e armazenamento por segundo na fase de forward CUPS (Connection Updates Per Sec) Medida da velocidade de aprendizado da rede - fase backward Não há ainda um conjunto de parâmetros que garanta um bom Benchmark

25 Digital Projeto digital: Arquiteturas em camadas SIMD
RBF (Função Base Radial) Vantagens da tecnologia digital Técnicas de fabricação bastante precisa O pesos são armazenados em RAM Operações aritméticas exatas para número de bits dos acumuladores e operandos Fácil integração para maioria das aplicações

26 Digital Desvantagens da tecnologia digital
Operações digitais mais “lentas” que os sistemas analógicos - (Wji * Xi ) O mundo real é analógico - um sensor necessita de conversão D.A. para se adaptar a tecnologia

27 Digital - Projeto digital
Arquiteturas em camada Micro Devices MD1220 SIMD Adaptive Solutions N64000 RBF (Função Base Radial) Nestor Ni1000

28 Analógica Vantagens Explora as propriedades físicas para as operações da rede .: Alta velocidade Desvantagens Projeto pode ser difícil (considerações de temperatura, manufatura, etc) Armazenamento dos pesos Pesos x Entrada deve ser linear em toda escala Chip: Intel Electrically Trainable Neural Network (ETANN)

29 Híbrida Combina o melhor das duas tecnologias
Processamento interno é analógico, garantindo velocidade. Porém os pesos são armazenados na forma digital Redes de Pulso: Usa largura de pulso para emular amplitude dos pesos, das entradas e das saídas da rede Chip: Neuroclassificador do Instituto Mesa - Univ. Twente (20 ns - forward)

30 Adaptive Solutions CNAPServer VME System
Cartões Aceleradores e Neurocomputadores Neurocomputadores: sistemas dedicados com hardware e software elaborados para aplicações neurais Objetivo: Aplicações em alta escala: OCR Adaptive Solutions CNAPServer VME System Cartões Aceleradores: Uma alternativa, mais barata que os Neurocomputadores. Permite acoplar um sistema neural a um PC (por exemplo) através de um cartão IBM ZISC ISA

31 Cartões Aceleradores - TOTEM

32 TOTEM NeuroChips NC NC3003 Algoritmo de aprendizado Reactive Tabu Search (RTS)

33 TOTEM - Aspectos Avançados
Multiplicação sem módulos multiplicadores

34 Conclusões O custo dos chips neurais é ainda relativamente alto e por isso ainda não emplacaram comercialmente como os chips Fuzzy. A comercialização dos chips neurais ainda depende de um outro fator que está ligado ao número de adeptos a tecnologia neural. Por se tratar de uma ciência relativamente recente temos poucos profissionais realmente conhecedores dessa técnica, mas acredito que com o tempo teremos mais profissionais usando chips neurais e aplicando-o na industria. Isso deve reduzir o custo e incentivar a produção e o comércio.

35 Bibliografia 1. R. De Mori, R. Cardim, "A new design approach to binary logarithm computation", Signal processing, 13 (2), Sept. 1987, pp 2. B. Hoefflinger "Efficient VLSI digital logarithmic codecs", Electronics Letters, 27(13), June 1991, pp 3. E. E. Swartzlander, A .G. Alexopoulos, "The sign logarithm number system", IEEE Trans. on Computers, C-24(12),Dec. 1975, pp 4. P. Lee, L. A .Zorat, A . Sartori, G. Tecchiolli "Advances in The Design of The Totem Neurochip", World Scientific Publishing Company, 5. Z. L. Kovács, "Redes Neurais Artificiais Fundamentos e Aplicações", Edição Acadêmica São Paulo, 1996. 6. R. Battiti, G. Tecchiolli, "Training neural nets with the Reactive Tabu Search". IEEE Transactions on Neural Networks, 6(5) 1995, pp Sites 1. 2. uhavax.hatford.edu 3. neuralnets.web.cern.ch 4. msia02.msi.se 5. lionhrtpub.com

36 FIM Ednaldo José Ferreira