Modelos de Redes Neurais Construtivas para Classificação e Verificação de Padrões Juliana Neiva de Gouvêa Ribeiro Orientador: Germano Crispim Vasconcelos Departamento de Informática - UFPE Recife, 23 de Abril de 1999

Motivações Redes Feedforward têm sido bastante utilizadas em aplicações de Reconhecimento de Padrões Problemas apresentados pelas redes MLP e RBF Redes Construtivas X Arquiteturas Fixas Redes construtivas pouco investigadas na teoria e na prática

Objetivos Investigação dos modelos de Redes Construtivas –Aplicações práticas de Classificação e Verificação de Padrões –Identificar propriedades, vantagens e deficiências Investigação comparativa com redes tradicionais Identificação de modificações nos modelos Avaliação da solução proposta

Problemas das Redes de Topologia Fixa Dilema de definição a priori do número de camadas e unidades intermediárias necessárias para a solução de um dado problema Lentidão de processo de treinamento

Redes Neurais Construtivas Constróem gradualmente suas próprias estruturas até atingirem uma solução satisfatória Configuração inicial mínima Adotam estratégias de inserção e treinamento distintas Treinam, em geral, mais rápido

Cascade-Correlation Entradas +1 Saídas X X X X X X X X XX XX Unidade Escondida 2 Unidade Escondida 1 C =    p (y po  y o )(e po -  e o )|

Características da Cascor Rede razoavelmente pequena é construída Aprendizagem rápida (problema fixo X dança complexa ) Detectores de características de alta ordem (redes profundas)

A Arquitetura Tower Constrói uma torre de TLUs Cada nova camada adicionada à rede recebe estímulos da camada de entrada e da camada imediatamente abaixo dela O algoritmo utilizado é do tipo perceptron ( pocket with ratchet)

Camada Intermediária 1Camada Intermediária 2 A Arquitetura Tower Camada de SaídaCamada de Entrada

A Arquitetura Pyramid Constrói uma rede de forma similar à rede Tower Cada nova camada recebe estímulos tanto da camada de entrada como de todas as camadas previamente inseridas na rede A diferença chave em relação à Cascor é a forma de treinamento das novas unidades

A Rede Upstart As unidades são inseridas em uma única camada Unidades “filhas” wrongly-on ou wrongly-off corrigem erros das unidades ascendentes que cometeram mais erros Algoritmo de treinamento tipo perceptron (Barycentric Correction Procedure - BCP)

A Rede Upstart... Camada de Saída Camada de Entrada Camada Intermediária Unidade Filha Atual Filhas Previamente Inseridas CONEXÃO INDIVIDUAL ENTRE 2 UNIDADES CONEXÃO EM BLOCO...

A Rede Tiling Constrói uma rede em camadas contendo unidades TLUs através de algoritmos do tipo perceptron Unidades “mestres” são inseridas na rede de modo a classificar corretamente mais padrões que as unidades mestres das camadas anteriores Unidades auxiliares são inseridas nas camadas para se atingir uma representação fiel do problema

A Rede Tiling Camada Intermediária 1 Unidades “auxiliares” Camada Intermediária 2 Camada de Saída Camada de Entrada

A Rede Perceptron-Cascade Baseia-se na estratégia da rede Upstart e constrói uma rede com topologia similar à Cascor Utiliza algoritmo do tipo perceptron (Thermal Perceptron) Convergência robusta, incluindo unidades de forma bastante otimizada

A Rede Perceptron-Cascade Camada Intermediária 2 Camada Intermediária Camada de Saída Conexões em Grupo Conexões Individuais Camada de Entrada......

A Rede DistAl Utiliza TLUs esféricas definindo clusters Calcula distância entre pares de padrões, utilizando várias métricas de distância Tenta classificar o maior número de padrões possível com a inserção de cada unidade Treinamento do tipo one-shot

Problemas Práticos de Classificação Análise de crédito ao consumidor - CARD Diagnóstico de problemas cardíacos - HEART Reconhecimento de caracteres manuscritos

Problema Prático de Verificação Investigado Verificação de Assinaturas

Classificação de Padrões ( Estrutura Experimental) Foram investigados sete modelos construtivos Experimentos preliminares para ajuste de parâmetros Esquema extensivo de investigação experimental Repetições das melhores simulações para extração de estatísticas como médias e desvios-padrão

Classificação de Padrões ( Estrutura Experimental) Os resultados relativos à MLP são extraídos do PROBEN1 Foram realizadas simulações com as redes RBF seguindo o mesmo esquema experimental

Classificação de Padrões ( Estrutura Experimental) Investigação comparativa entre modelos construtivos e arquiteturas convencionais Propriedades de generalização, convergência, tamanhos de redes geradas e tempo de treinamento

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Análise de Crédito - CARD % 84.88% 86.05% 84.35% 87.58% 90.70% 80.23% 86.00% 88.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Análise de Crédito - CARD % 78.49% 79.07% 84.06% 86.80% 86.05% 79.05% 81.00% 82.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Análise de Crédito - CARD % 79.65% 79.07% 82.90% 84.07% 83.72% 79.07% 81.00% 83.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Detecção de Problemas Cardíacos -HEART % 78.70% 79.57% 79.13% 82.72% 84.05% 76.52% 80.00% 82.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Detecção de Problemas Cardíacos - HEART % 78.26% 80.87% 82.56% 81.45% 71.74% 82.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Cascor Tower Pyramid DistAl PercCasc Upstart Tiling MLP RBF REDEUNID. INTERMDESEMPENHODP Detecção de Problemas Cardíacos - HEART % 70.87% 76.09% 82.61% 80.96% 80.78% 77.39% 76.00% 79.00%

Análise Comparativa dos Modelos (Classificação de Padrões) Reconhecimento de Caracteres CascorMLPRBFCascorMLPRBF Taxa de ReconhecimentoTaxa de Erro NC % 5.3% 3.7% 2.6% 3.0% 1.7% 92.0% 89.4% 88.2% 84.4% 80.8% 81.3% 72.9% 91.1% 85.7% 80.3% 74.9% 66.7% 55.8% - 8.8% 4.5% 3.7% 3.4% 3.0% 2.6% 2.2% 91.1% 84.7% 83.2% 81.4% 80.3% 79.1% 77.8% 8.8% 3.4% 1.4% 0.5% 0.4% 0.2% -

Gráfico Comparativo (Número de Épocas Médio)

Considerações sobre Classificação Destaque das redes Perceptron-Cascade, Upstart, DistAl e Cascor As redes Tower e Pyramid consideram um fator de rejeição, tornando seus resultados mais robustos As redes construtivas apresentam desvios-padrão muito altos

Problema Prático de Verificação de Padrões Reconhecimento de Assinaturas Base de dados contendo imagens de assinaturas juntamente com suas características extraídas Exemplos de assinaturas genuínas, falsas habilidosas e falsas simples 21 classes foram consideradas

Exemplo de uma Classe de Assinaturas Assinatura Genuína Assinatura Falsa Habilidosa Assinatura Falsa Simples

Modelos Autoassociativos Saídas são obrigadas a reproduzirem as entradas Geram superfícies de separação fechadas cobrindo os dados de treinamento Poucas unidades intermediárias, filtrando as informações mais relevantes A verificação é estabelecida através da distância entre os vetores de entrada e saída (maxerr)

Arquiteturas Investigadas Cascor autoassociativa MLP autoassociativa Tower-autoassociativa Pyramid-autoassociativa

Extração de Características Das imagens de esqueleto, bordas e regiões de alta pressão são extraídas 12 características através da técnica de Momentos Para efeito comparativo, foi aplicada a técnica de Análise dos Componentes Principais (PCA)

Modificações Propostas Tower e Pyramid originais não adequadas ao paradigma autoassociativo Modificações nos mecanismos de treinamento Tower-autoassociativa e Pyramid-autoassociativa

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower Pyramid 60% 70% 100% RedeUnidadesIIIIII % 25% 50% 100% 75% Desempenhos relativos à classe 0

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower Pyramid 90% 70% 100% RedeUnidadesIIIIII % 50% 0% 25% 100% 50% Desempenhos relativos à classe 5

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower Pyramid 80% 70% 100% 90% RedeUnidadesIIIIII % 25% 100% 75% Desempenhos relativos à classe 20

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower-autoassociativa Pyramid-autoassociativa 60% 70% 100% RedeUnidadesIIIIII % 50% 75% 100% Desempenhos relativos à classe 0

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower-autoassociativa Pyramid-autoassociativa 90% 70% 100% 80% RedeUnidadesIIIIII % 50% 75% 100% 75% Desempenhos relativos à classe 5

Análise Comparativa dos Modelos (Verificação de Padrões) MLP autoassociativa Cascor autoassociativa Tower-autoassociativa Pyramid-autoassociativa 80% 70% 90% RedeUnidadesIIIIII % 100% 75% Desempenhos relativos à classe 20

Número de Épocas Os número de épocas médios para as redes MLP, Cascor, Tower-autoassociativa e Pyramid- autoassociativa foram 100, 100, 1500 e 1500 épocas, respectivamente

Análise Comparativa de Técnicas de Extração de Características MLP autoassociativa Cascor autoassociativa MLP com PCA Cascor com PCA 60% 70% 80% RedeUnidadesIIIIII % 50% 75% 100% Desempenhos relativos à classe 0

Análise Comparativa de Técnicas de Extração de Características MLP autoassociativa Cascor autoassociativa MLP com PCA Cascor com PCA 90% 70% 60% 70% RedeUnidadesIIIIII % 50% 100% 50% 75% Desempenhos relativos à classe 5

Conclusões Para os problemas de Classificação de Padrões, as redes construtivas se mostraram bastante eficientes Os melhores resultados foram apresentados pelas redes Perceptron-Cascade, Upstart, DistAl e Cascor Os resultados foram muito próximos e muitas vezes superiores aos obtidos com a MLP e a RBF

Conclusões Tower e Pyramid originais não são apropriadas à verificação de padrões sob a autoassociação Foi realizada uma adaptação destes modelos ao paradigma autoassociação Em relação à taxa de reconhecimento de assinaturas genuínas, as redes construtivas obtiveram, em geral, resultados melhores que a rede MLP autoassociativa (70% a 100%)

Conclusões A rede Pyramid-autoassociativa obteve os melhores resultados Em relação às taxas de rejeição de assinaturas falsas simples, as redes apresentaram resultados bastante satisfatórios e semelhantes aos da MLP (entre 75% e 100%)

Conclusões Os resultados relativos à rejeição de falsas habilidosas foram aquém do desejado para os dois modelos de redes (às vezes chegando a 50%) Os índices alcançados com a aplicação da técnica de PCA foram inferiores aos obtidos com a técnica de Momentos, porém considerados satisfatórios

Conclusões Através dos resultados obtidos, conclui-se seguramente que os modelos construtivos podem ser considerados como uma alternativa aos modelos mais tradicionais de redes feedforward

Contribuições Avaliação dos modelos tradicionais MLP e RBF nas tarefas práticas investigadas Investigação comparativa dos modelos construtivos Cascade-Correlation, Tower, Pyramid, DistAl, Upstart, Tiling e Perceptron- Cascade em problemas reais de classificação de padrões

Contribuições Investigação comparativa dos modelos construtivos Cascade-Correlation, Tower e Pyramid, sob a abordagem autoassociativa, em um problema real de verificação de padrões Modificação dos algoritmos Tower e Pyramid, adequando-os à aplicação de verificação de padrões

Trabalhos Futuros Investigar todos os demais modelos construtivos na tarefa de verificação de padrões Investigar os modelos utilizando um conjunto ainda mais extenso de problemas práticos de classificação, devido ao patamar incipiente das pesquisas

Trabalhos Futuros Investigar os modelos construtivos em outros tipos de problemas: previsão, otimização, controle e aproximação de funções Investigar outros modelos de redes construtivas como o RBF-DDA Investigar a adequabilidade das redes construtivas ao paradigma de aprendizagem recorrente

Publicações Geradas 1. An Experimental Evaluation of the Cascade-Correlation Network in Pattern Recognition Problems. Fourth International Conference on Neural Information Processing - ICONIP'97, New Zealand, Springer Verlag Singapore, , Verificação Off-line de Assinaturas Baseada em uma Arquitetura Cascade-Correlation Autoassociativa. V Simpósio Brasileiro de Redes Neurais, , A Comparative Study of the Cascade-Correlation Architecture in Pattern recognition Applications. IEEE Computer Society, IV th Brazilian Symposium on Neural Networks, (1):31- 40,1997

Publicações Geradas 4. Off-Line Signature Verification using an Autoassociator Cascade-Correlation Architecture. A ser publicado nos anais da IJCNN’99 (International Joint Conference on Neural Networks), Washington, de julho de Redes Neurais Construtivas para Classificação de Padrões, submetido ao ENIA’99 6. Constructive Neural Networks for Pattern Classification and Verification, submetido ao ICONIP’99 7. Arquiteturas Autoassociativas Construtivas para Verificação Automática de Assinaturas, submetido ao CBRN’99

“Não chegar ao FIM ao que a tua grandeza...” Goethe