REDES NEURONAIS ARTIFICIAIS (RNAs) Universidade do Minho

RNAs : grande crescimento nos últimos anos n RAZÕES PARA O SUCESSO: –Poder de modelação (não linearidade) –Facilidade de uso –Robustez perante ruído nos dados –Capacidade de generalização n ÁREAS DE APLICAÇÃO: –Finanças –Medicina –Engenharia –Geologia –Física –Automação –Robótica –...

Em que tipo de problemas usar uma RNA ? n TIPOS DE PROBLEMAS: –Previsão –Classificação –Controlo n REQUISITOS: –Relação estatística entre entradas e saídas –Exemplos anteriores para treino da rede n ALGUNS EXEMPLOS: –Previsão do valor de acções –Atribuição de crédito a um cliente –Controlo do movi- mento de um robot

Inspiração biológica n Modelo da estrutura celular do cérebro n Grande número de neurónios fortemente inter- ligados n Mimetizar funcio- namento dos neurónios naturais

Neurónios artificiais n Recebem um conjunto de entradas (de dados ou de conexões) n Um peso (valor numérico) associado a cada conexão n Cada neurónio calcula a sua activação com base nos valores de entrada e nos pesos das ligações n O sinal calculado é passado para a saída depois de filtrado por uma função de activação

Funções de activação n Sigmoid n Linear n Funções trigonométricas (seno, coseno, etc.) n Gaussiana

Arquitectura de uma RNA n Quantos neurónios de entrada e saída ? n Quantos neurónios escondidos ? n Como ligar os neurónios ? n Definir camadas ? n Modelo mais simples: Redes Feedforward com camadas completamente interligadas

RNAs com topologia feedforward n Com activações e pesos discretos: Multi-Layer Perceptrons n Com activações e pesos contínuos: redes backpropagation

Treino de redes backpropagation n Supervisionado –Exemplos de treino constituídos por entradas e respectivas saídas desejadas –Minimizar a soma do quadrado dos erros cometidos nos casos de treino n Vários algoritmos de treino –O mais usado o backpropagation (dá o nome às redes) - baseado no gradiente –Algoritmos de segunda ordem (ex: Marquardt- Levenberg)

Algoritmo Back-propagation n Baseia-se no vector gradiente da superfície do erro que define a direcção de descida máxima n Parâmetro importante: taxa de aprendizagem - define a distância que se caminha no sentido do vector gradiente n Uma sequência destes movimentos leva a um mínimo (espera-se que global) n O treino decorre um dado número de épocas: define o nº de vezes que cada caso é treinado pela rede n Configuração inicial da rede é aleatória n Critério de paragem: nº fixo de épocas ou algum critério de convergência

Com que dados treinar a rede e como os processar? n Escolha das variáveis a considerar nas entradas da rede n Tratamento de dados não numéricos: texto, valores enumerados n Tratar informação incompleta n Normalizar os dados n Selecionar o número de casos (valores mínimos de centenas de exemplos) n Eliminar dados enganadores

Cuidados a ter na selecção de dados n Se as circunstâncias se alteram dados históricos podem ser enganadores n No treino da rede devem tentar cobrir-se o máximo de possibilidades n A rede aprende as caracterísiticas mais simples n A distribuição estatística dos casos de treino deve ser semelhante à da realidade onde a rede vais er usada

Critérios de paragem e generalização n Os casos de treino não são aqueles onde a rede deve ter sucesso - espera-se que estejam fortemente relacionados n Treinar demais a rede pode impedir generalização a para novos casos: overfitting n Arquitecturas com muitos neurónios podem potenciar maior probabilidade de over-fitting; se tiverem neurónios a menos o treino não terá uma convergência para um grau desejável n Podem usar-se alguns casos não para treinar a rede mas para fazer uma verificação independente do processo de aprendizagem