Aspectos da Implementação de Redes Neurais Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004

Introdução Redes Neurais Artificiais Máquinas massivamente paralelas com inspiração no sistema nervoso biológico, onde a programação é substituída pela aprendizagem a partir de exemplos ou pela aprendizagem baseada em interação. São sistemas de processamento de sinais ou de informações compostos por um grande número de processadores elementares, chamados neurônios artificiais, operando de forma paralela e distribuída de modo a resolver um determinado problema físico/computacional.

Introdução Neurônio artificial – modelo computacional Função de ativação típica – função sigmóide

Introdução Topologias das redes neurais

Aprendizagem em Redes Neurais Contexto da aprendizagem Em redes neurais artificiais, a aprendizagem está relacionada com a melhoria do desempenho do sistema. Isto pode ser alcançado pela minimização da medida do erro, pela auto-organização da informação através da medida da correlação entre os dados ou pela maximização de recompensas através de um processo de tentativa e erro. Algoritmo de aprendizagem Refere-se ao procedimento através do qual as regras de aprendizagem são usadas para ajustar os pesos sinápticos de uma rede neural e, possivelmente, sua topologia (número de camadas, número de neurônios por camada ou o perfil das interconexões).

Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem Supervisionado – baseado na correção do erro entre as saídas apresentadas pela rede e aquelas saídas desejadas. Ambiente Professor Resposta desejada Agente - Rede Resposta da rede erro

Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem Aprendizagem por reforço – baseado na interação entre o agente e seu ambiente. Ambiente Percepção (estado) do ambiente Recompensa (punição) Resposta (ação) da rede Agente - Rede

Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem Não supervisionado – baseado na análise das correlações entre as entradas de forma a agrupá-las, codificá-las ou categorizá-las. Entradas similares são classificadas como pertencentes à mesma categoria e devem ativar a mesma unidade de saída (neurônio), que corresponderá a um protótipo desta categoria. Baseada no princípio da competição entre os neurônios pela ativação, normalmente o vencedor-leva-tudo.

Perceptron de Múltiplas Camadas Arquitetura

Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – backpropagation Regra de aprendizagem baseada na correção do erro Minimização da função objetivo Para a minimização, normalmente utiliza-se o Método do Gradiente O algoritmo de aprendizagem é composto de duas fases: Cálculo do erro (forward) Correção dos pesos sinápticos (backward)

Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – backpropagation Normalmente o tempo de processamento é elevado A arquitetura da rede deve ser fixada a priori

Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – neuroevolution Busca no espaço das arquiteturas Conectividade variável

Hardware para Redes Neurais Implementações analógicas e digitais Analógica – extremamente compactas, inerentemente paralelas e com baixo consumo de potência. Controvérsias existem com relação à precisão e capacidade de armazenamento dos pesos sinápticos. Amplificador Não linear

Hardware para Redes Neurais Implementações analógicas e digitais Digital Máquinas dedicadas – neurocomputers – são basicamente sistemas multiprocessados compostos de processadores comercialmente disponíveis ou customizados. As principais arquiteturas empregadas são baseadas nos paradigmas SIMD (single-instruction multiple data) e systolic arrays Circuitos dedicados – são usados para resolver problemas com requisitos especiais de tempo e área. Podem ser do tipo offline learning, onde a aprendizagem é realizada em uma máquina convencional e on-chip learning, onde o algoritmo de aprendizagem e o sistema de aprendizagem são implementados no hardware. Sistema de aprendizagem – adapta continuamente seus ganhos sinápticos, em um ambiente dinâmico.

Hardware para Redes Neurais Classificação do hardware digital Grau de paralelismo – granularidade grossa (2-16 proc.), média (8-128 proc.), fina (64-2048 proc.) e massiva (+1024 proc.). Circuito de interconexão – malha bi-dimensional, crossbar, broadcast bus, array linear, systolic ring Representação numérica – ponto fixo, ponto flutuante, stochastic pulse stream coding Partição da rede por processador – synapse, neurônio, sub-rede, rede

Hardware para Redes Neurais Outra classificação do hardware digital

Hardware para Redes Neurais Características desejadas em uma implementação Treinamento + computação Mapeamento do paralelismo inerente Interface amigável Velocidade de processamento, precisão, flexibilidade, custo, escalabilidade Arquiteturas reconfiguráveis

Hardware para Redes Neurais Aplicações OCR – talvez a maior aplicação comercial de redes neurais Reconhecimento de voz – Sensory Inc – vocabulário limitado Neuromorphic Hardware – buscam aproximar a estrutura e as funções de sistemas neurais biológicos, tais como: retinas de silício e analog cochlears (canal auditivo interno) Física das altas energias –sensores para detecção de partículas subatômicas