A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Processadores Neurais Chips neurais Ednaldo José Ferreira Prof. Stela.

Apresentações semelhantes


Apresentação em tema: "Processadores Neurais Chips neurais Ednaldo José Ferreira Prof. Stela."— Transcrição da apresentação:

1 Processadores Neurais Chips neurais Ednaldo José Ferreira Prof. Stela

2 Conteúdo Histórico Histórico Introdução Introdução Modelamento Modelamento Aprendizado em RNA Aprendizado em RNA Processador Neural Processador Neural Conclusão Conclusão

3 Histórico Trabalhos & Autores McCulloch & Pitts Concentra-se em descrever um modelo artificial de um neurônio e apresentar suas capacidades computacionais Donald Hebb Propoe uma teoria para explicar o aprendizado em neurônios biológicos baseado no reforço das ligações sinápticas Widrow e Hoff (60) Apresenta um regra para treinamento de um nodo (neurônio) que ficou conhecida com REGRA DELTA Frank Rosemblatt Modelo Perceptron - MLP (camadas: entrada, intermediaria e saída)

4 Minsky e Papert Demonstra as atividade que um perceptron não poderia executar Anos 70 Abordagem conexionista adormecida John Hopfield Propriedades das redes associativas Regra delta generalizada - Backpropagation Histórico Trabalhos & Autores

5 Introdução Neurônio Biológico Dendritos: Ramificações que conduzem o sinal para o corpo celular Soma: Promove a integração dos impulsos Axônio: Conecta a célula nervosa a outras do sistema nervoso

6 Introdução A Comunicação Química Química Elétrica Elétrica Elétrico - Potencial de Ação

7 Introdução A Comunicação O potencial de ação é provocado no axônio de um neurônio pelo efeito combinado de todos os estímulos excitatórios e inibitórios que chegam a sua árvore dentrital.

8

9 Modelamento Primeiros Modelos Modelo de primeira ordem A simplificação de McCulloch & Pitts

10 Modelamento Primeiros Modelos McCulloch & Pitts Discriminador Linear X2X2 X1X1 B A

11 Aprendizado Classificação do Aprendizado Aprendizado Supervisionado Imagem e domínio conhecidos durante a fase de treinamento. Aprendizado Não Supervisionado Imagem é encontrada (agrupada) automaticamente pela rede a partir do domínio Aprendizado por Reforço Apenas um indicativo do erro é fornecido

12 Principais Redes Perceptron Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0 Para x1 = 1, x2 = 1 e x3 = 0 ==> d = 1.. Para x1 = 0, x2 = 0 e x3 = 0 ==> d = 1 Exemplo de Aprendizado supervisionado para um simples perceptron X1X2X3 y W1W2W3 Função de Ativação Função de Saída

13 Principais Redes Perceptron A equação geral para atualização dos Pesos W i (t+1) = W i (t) + n.e.X i (t) onde: nTaxa de aprendizado W i Peso entre o neurônio e a entrada Xi eerro entre a saída Yk e a o valor desejado dk e = (d k - Y k )

14 W(t) X n.X W(t+1) Principais Redes Perceptron O processo de aprendizado

15 Principais Redes Adaline (Widrow & Hoff) Adaline - Adaptative linear element - Adaptative linear neuron - Adaptative linear neuron

16 Principais Redes Adaline - Aprendizado Método do Gradiente Descendente E = 1/2. 2 E = 1/2. 2 Derivar a função de erro - em relação as pesos da rede

17 Principais Redes Adaline - Aprendizado Método do Gradiente Descendente Somar o vetor gradiente descendente ao vetor peso Somar o vetor gradiente descendente ao vetor peso W i (t+1) = W i (t) + n.e.X i (t) n =

18 Principais Redes Redes Multicamadas - MLP Fase Forward Fase Backward

19 Principais Redes Redes Multicamadas - MLP Aprendizado - Back propagation Baseado na regra delta => regra delta generalizada Baseado na regra delta => regra delta generalizada W ji (t+1) = W ji (t) + n..X i (t) Camada de Saída Camada Intermediária

20 Por que usar processadores neurais ? Velocidade Velocidade As redes neurais já possuem um paralelismo intrínseco característico. Portanto, múltiplos elementos de processamento (EPs) em um chip neural pode garantir alta velocidade de processamento

21 Quando usar chips neurais ? Quando a implementação em software não é suficiente. Quando a implementação em software não é suficiente. Quando a implementação em hardware seqüencial não é suficiente. Quando a implementação em hardware seqüencial não é suficiente.

22 Aplicações de processadores neurais OCR (Reconhecimento ótico de caracteres) OCR (Reconhecimento ótico de caracteres) Reconhecimento de Voz Reconhecimento de Voz HEP (High Energy Physics) HEP (High Energy Physics) Aplicações comerciais de OCR on chip Aplicações em Telefones Celulares, Brinquedos, etc

23 Especificação de Hardware Neural Três categorias básicas: DigitalDigital AnalógicaAnalógica HíbridaHíbrida Características Genéricas: Aprendizado: on-chip ou off-chip Aprendizado: on-chip ou off-chip Arquitetura da rede Arquitetura da rede Número de neurônios (Elemento de Processamento) Número de neurônios (Elemento de Processamento) Função de Transferencia: on-chip ou off-chip ou LUT Função de Transferencia: on-chip ou off-chip ou LUT Bits de precisão (pesos) Bits de precisão (pesos) Tamanho do Acumulador em BitsTamanho do Acumulador em Bits Preço Preço

24 Parâmetros de comparação de Performance CPS (Connection Per Second) CPS (Connection Per Second) Número de operações de multiplicação e armazenamento por segundo na fase de forward CUPS (Connection Updates Per Sec) CUPS (Connection Updates Per Sec) Medida da velocidade de aprendizado da rede - fase backward Não há ainda um conjunto de parâmetros que garanta um bom Benchmark

25 Digital Projeto digital: Arquiteturas em camadas Arquiteturas em camadas SIMD SIMD RBF (Função Base Radial) RBF (Função Base Radial) Vantagens da tecnologia digital Técnicas de fabricação bastante precisa Técnicas de fabricação bastante precisa O pesos são armazenados em RAM O pesos são armazenados em RAM Operações aritméticas exatas para número de bits dos acumuladores e operandos Operações aritméticas exatas para número de bits dos acumuladores e operandos Fácil integração para maioria das aplicações Fácil integração para maioria das aplicações

26 Digital Desvantagens da tecnologia digital Operações digitais mais lentas que os sistemas analógicos - (Wji * Xi ) Operações digitais mais lentas que os sistemas analógicos - (Wji * Xi ) O mundo real é analógico - um sensor necessita de conversão D.A. para se adaptar a tecnologia O mundo real é analógico - um sensor necessita de conversão D.A. para se adaptar a tecnologia

27 Digital - Projeto digital Arquiteturas em camadaArquiteturas em camada Micro Devices MD1220 SIMD SIMD Adaptive Solutions N64000 RBF (Função Base Radial) RBF (Função Base Radial) Nestor Ni1000

28 AnalógicaVantagens Explora as propriedades físicas para as operações da rede.: Alta velocidade Explora as propriedades físicas para as operações da rede.: Alta velocidadeDesvantagens Projeto pode ser difícil (considerações de temperatura, manufatura, etc) Projeto pode ser difícil (considerações de temperatura, manufatura, etc) Armazenamento dos pesos Armazenamento dos pesos Pesos x Entrada deve ser linear em toda escala Pesos x Entrada deve ser linear em toda escalaChip: Intel Electrically Trainable Neural Network (ETANN)

29 Híbrida Combina o melhor das duas tecnologias Combina o melhor das duas tecnologias Processamento interno é analógico, garantindo velocidade. Porém os pesos são armazenados na forma digital Processamento interno é analógico, garantindo velocidade. Porém os pesos são armazenados na forma digital Redes de Pulso: Usa largura de pulso para emular amplitude dos pesos, das entradas e das saídas da rede Redes de Pulso: Usa largura de pulso para emular amplitude dos pesos, das entradas e das saídas da redeChip: Neuroclassificador do Instituto Mesa - Univ. Twente (20 ns - forward)

30 Cartões Aceleradores e Neurocomputadores Neurocomputadores: sistemas dedicados com hardware e software elaborados para aplicações neurais Objetivo: Aplicações em alta escala: OCR Adaptive SolutionsAdaptive Solutions CNAPServer VME System Cartões Aceleradores: Uma alternativa, mais barata que os Neurocomputadores. Permite acoplar um sistema neural a um PC (por exemplo) através de um cartão IBM ZISC ISA IBM

31 Cartões Aceleradores - TOTEM

32 TOTEM NeuroChips NC3002 NC3003 Algoritmo de aprendizado Reactive Tabu Search (RTS)

33 TOTEM - Aspectos Avançados Multiplicação sem módulos multiplicadores

34 Conclusões O custo dos chips neurais é ainda relativamente alto e por isso ainda não emplacaram comercialmente como os chips Fuzzy. A comercialização dos chips neurais ainda depende de um outro fator que está ligado ao número de adeptos a tecnologia neural. Por se tratar de uma ciência relativamente recente temos poucos profissionais realmente conhecedores dessa técnica, mas acredito que com o tempo teremos mais profissionais usando chips neurais e aplicando-o na industria. Isso deve reduzir o custo e incentivar a produção e o comércio.

35 Bibliografia 1. R. De Mori, R. Cardim, "A new design approach to binary logarithm computation", Signal processing, 13 (2), Sept. 1987, pp B. Hoefflinger "Efficient VLSI digital logarithmic codecs", Electronics Letters, 27(13), June 1991, pp E. E. Swartzlander, A.G. Alexopoulos, "The sign logarithm number system", IEEE Trans. on Computers, C-24(12),Dec. 1975, pp P. Lee, L. A.Zorat, A. Sartori, G. Tecchiolli "Advances in The Design of The Totem Neurochip", World Scientific Publishing Company, 5. Z. L. Kovács, "Redes Neurais Artificiais Fundamentos e Aplicações", Edição Acadêmica São Paulo, R. Battiti, G. Tecchiolli, "Training neural nets with the Reactive Tabu Search". IEEE Transactions on Neural Networks, 6(5) 1995, pp Sites uhavax.hatford.edu 3. neuralnets.web.cern.ch 4. msia02.msi.se 5. lionhrtpub.com

36 FIM FIM Ednaldo José Ferreira


Carregar ppt "Processadores Neurais Chips neurais Ednaldo José Ferreira Prof. Stela."

Apresentações semelhantes


Anúncios Google