Aprendizagem de Máquina “Learning a Neural Tree” Paulo Amorim - prfa

Roteiro Introdução Proposta Descrição do Projeto Algoritmo de Construção – SGNT Aperfeiçoamento:  Otimização;  Poda; Resultados Resoluções Trabalhos Futuros...

Introdução Treinamento pelo ajuste dos pesos das conexões. Estrutura para satisfazer a aprendizagem. Desvantajoso. Redes que apenas resolvem problemas específicos.

Proposta Construção automática de uma estrutura neural através de dados de treinamento. Algoritmo SGNT (Self-Generated Neural Tree). Estrutura de rede, membros dos neurônios, conexões entre eles e seus pesos são atualizados.

Descrição do Projeto Instância (vetor de atributos, com mesmo peso) Nó da árvore representa um neurônio:  poder de resposta;  peso associado;  um vetor contendo os neurônios “filhos”;  instância associada; Neurônio “vencedor” (Distância Euclidiana).

SGNT (1/2) Neurônios, gerados automaticamente a partir das instâncias de treinamento. Entradas:  limiar θ;  dados carregados do conjunto de treinamento; Descrição do Algoritmo:  Definição da raiz;  Para cada elemento, distância mínima, neurônio “vencedor”;

SGNT (2/2) Menor distância comparada ao limiar. Caso seja maior:  um novo neurônio filho, representando o mesmo, caso seja folha;  um novo filho, representando o dado de entrada; Atualização dos pesos dos neurônios da árvore. Neurônio-folha, corresponde a um ou mais exemplos de treinamento.

Aperfeiçoamento (1/3) Otimização:  Vertically Well Placed (VWP): Distância entre o peso de um neurônio aos antecessores tem que ser crescente;  Se não: colocado numa camada acima, como “filho” do neurônio “pai-antecessor” como o qual ele possui menor distância; neurônio “pai-anterior” terá seu peso e poder de decisão atualizados;

Aperfeiçoamento (2/3)  Horizontally Well Placed (HWP): Distância do neurônio “pai” a um de seus neurônios filhos tem que ser menor ou igual, que a diferença entre “irmãos”.  Se não: Movido uma camada abaixo, como “filho” do “irmão” mais próximo. Novo filho é adicionado como cópia do mesmo de forma a não perder a informação. O peso e poder de decisão desse neurônio é atualizado.

Aperfeiçoamento (3/3) Poda (Prunning):  Realização repetitiva do treinamento e eliminação dos “galhos mortos”.  Uma sub-árvore é um “galho morto” se o número de exemplos alcançados pela raiz não aumentar a cada repetição do processo. Não-implementado.

Resultados Lenses - UCI Machine Learning Repository:  K-nn, com k = 1: 87,5% de acertos  K-nn, com k = 3: 62,5% de acertos  K-nn, com k = 5: 62,5% de acertos  Árvore sem otimização: 87,5% de acertos.  Árvore com otimização: 73,4375% de acertos. (?)

Resoluções Compreensão média. Exemplos simples, problemas mais complexos poderiam ser apresentados. Pouca (quase nenhuma) ênfase ao processo de busca.

Trabalhos Futuros... Vários pontos:  realização da poda;  tamanho máximo ótimo da árvore;  adaptação para utilização de dados compostos: categóricos; reais;