Redes Neurais Artificiais Prof. Júlio Cesar Nievola

Redes Neurais Artificiais Sistemas Neurais Artificiais Conexionismo Sistemas Adaptativos Neurocomputadores Sistemas Massivamente Paralelos Distribuídos Redes Neurais (Artificiais)

Redes Neurais Artificiais Reunião no Dartmouth College Paradigmas básicos: Simbólico Conexionista Perceptron (1 camada de pesos ajustáveis) Descrédito a partir do final da década 60 Impulso a partir da década de 80

Computador x cérebro Velocidade de processamento CPU: Clock (Cray 3) 4.2ns Neural: disparo neurônio ms Ordem de processamento CPU: serial Neural: paralelo Abundância e complexidade: CPU: um ou poucos processadores Neural: 1011-1014 neurônios; 103-104 conexões/neurônio

Computador x cérebro Armazenamento do conhecimento Tolerância a falhas CPU: estritamente relocável Neural: adaptativo Tolerância a falhas CPU: mínima, senão inexistente Neural: boa Controle do processamento CPU: controle autocrático, centralizado Neural: controle anárquico, distribuído

Elemento de base Neurônio simplificado Componentes: Axônio Dendritos Sinapses

Forma Matemática Simplificada Dendritos: entradas Corpo celular: Soma ponderada Função não-linear Axônio: distribuição aos neurônios

Terminologia Elementos de Processamento: Nós Memória de curto prazo População Ligações entre elementos de processamento Peso (Força de) interconexão Memória de longo prazo

Aprendizagem Supervisionada Não-supervisionada Com reforço

Etapas de Projeto Definir o problema Escolher informação Obter dados Criar arquivos rede Treinar a rede Testar a rede Uso em campo

Topologias: Construtiva

Topologias: Hopfield

Topologias: Recorrente

Topologias: Não-Supervisionada

Sub- e sobre-ajuste do polinômio

Validação Cruzada I Evita sobreposição nos conjuntos de teste Passo 1: os dados são divididos em k subconjuntos de mesmo tamanho Passo 2: em cada instante um subconjunto é usado para teste e os demais para treinamento Isto é chamado validação cruzada de fator k Normalmente os subconjuntos são estratificados antes de realizar a validação cruzada Faz-se a média das estimativas de erro para obter o erro estimado geral

Validação Cruzada II Método padrão para avaliação: validação cruzada estratificada com fator 10 A realização de vários experimentos tem demonstrado que 10 é a melhor escolha A estratificação reduz a variância da estimativa Opção melhor: validação cruzada estratificada com fator 10 repetida (10 x)

Extração de Regras É a tarefa de converter modelos de redes neurais treinadas em representações mais facilmente compreensíveis Surgiu em função de Data Mining boom Interesse em métodos como boosting, bagging e error-correcting output codes

Características dos Métodos de Extração de Regras Compreensibilidade Quanto são humanamente compreensíveis Fidelidade Quanto modela a RNA da qual foi extraída Precisão Previsão precisa sobre exemplos não vistos Escalabilidade Grandes espaços de entrada, unidades e conexões Generalidade Treinamento especial e/ou restrições

Implementações Características-chave: Possibilidades de implementação Computacionalmente intensivas Massivamente paralelas Grandes requisitos de memória Possibilidades de implementação Computadores convencionais Computadores dedicados Implementação em hardware específico

Redes Neurais Artificiais Razões para utilização Paralelismo Capacidade de adaptação Memória distribuída Capacidade de generalização Facilidade de construção

Redes Neurais Artificiais Limites de utilização Simulação em máquinas seqüenciais A passagem da simulação para a implementação em hardware está no início O desempenho é dependente da qualidade e da pertinência do pré-tratamento efetuado

Redes Neurais Artificiais Características de uma boa aplicação Regras de resolução do problema desconhecidas ou difíceis de formalizar Dispõe-se de um grande conjunto de exemplos e suas soluções Necessita-se de grande rapidez na resolução do problema, p.ex. Tempo real Não existem soluções tecnológicas atuais

Redes Neurais Artificiais Domínios de aplicação privilegiados Reconhecimento de formas Tratamento de sinal Visão, fala Previsão e modelagem Auxílio à decisão Robótica