Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga UFMG – Escola de Engenharia – PPGEE Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga Belo Horizonte - 22 de fevereiro de 2006

Sumário Introdução Objetivos Síntese de circuitos Controle da generalização Regra do vizinho-mais-próximo Métricas de distância Metodologia de projeto Seleção das amostras Experimentos Processador NIOS II Implementação Conclusões Contribuições Propostas de continuidade Agradecimentos Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Introdução Classificadores de padrões são sistemas capazes de determinar a classe (ou categoria) de uma dada amostra (ou padrão) dentre um conjunto de categorias conhecidas. Aplicações: reconhecimento automático da fala; identificação de manuscritos e caracteres ópticos; identificação de seqüência de DNA; reconhecimento de face humana; identificação para radar. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Classificadores de padrões binários podem ser implementados em circuitos digitais combinacionais utilizando um algoritmo de minimização lógica. Um algoritmo de minimização lógica gera a função Booleana com o menor número de produtos (ou somas), de tal forma que o circuito contenha menos portas lógicas. Minimizar o número de entradas por porta AND e o número total de portas AND em um circuito VLSI é análogo a minimizar o número de antecedentes por regra e o número total de regras em uma base de regras em inteligência artificial. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Em problemas de classificação é mais interessante acertar a resposta para os dados desconhecidos do que acertar a resposta para os dados conhecidos. O classificador deve errar nos dados de treinamento para acertar mais nos dados desconhecidos. Para que um circuito combinacional digital tenha uma boa capacidade de generalização, não basta apenas utilizar o minimizador Booleano para o projeto do circuito. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Objetivos Projeto e implementação de circuitos digitais combinacionais para atuarem como classificadores de padrões binários com capacidade de generalização. Desenvolvimento de um algoritmo de seleção mínima de amostras baseada na Regra do Vizinho-mais-próximo para que a fase de projeto do classificador necessite de menos recursos de armazenamento e processamento, e ainda melhorando a capacidade de generalização. Implementação de um sistema classificador de padrões binários em um circuito embarcado com características de portabilidade, funcionamento rápido em tempo real e com treinamento on-line para atuar em problemas críticos de classificação de padrões. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Síntese de circuitos digitais x y z S 1 X Suponha o conjunto de dados binários na forma de tabela: Entradas: x, y, z Saída: S Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

O mesmo conjunto de dados binários na forma gráfica: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Método tabular de Quine-McCluskey Espresso BOOM Métodos para determinação da função Booleana (algoritmos de minimização lógica): Mapa de Karnaugh Método tabular de Quine-McCluskey Espresso BOOM Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Exemplo de cobertura para minimização lógica: S = y + z´.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Outro exemplo de cobertura: S = z´.x´ + z´.y + y.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Melhor superfície de separação entre as classes “quadrado” e “círculo”: S = z´.x´ + z´.y + y.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Implementação do circuito lógico: PAL - Programmable Array Logic PLA - Programmable Logic Array FPGA - Field Programmable Gate Array Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Controle da generalização Em uma Máquina de Vetores de Suporte (SVM), o hiperplano ótimo de separação das classes é determinado em função das amostras que se encontram entre as margens (i = C) e nas margens (0 < i < C). Amostras externas às margens (i = 0) são ignoradas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No treinamento de uma máquina de aprendizado com técnica de Boosting, os padrões com maior erro de classificação tem sua probabilidade de apresentação aumentada. Estes padrões são justamente aqueles mais próximos da fronteira de decisão das classes. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

É possível controlar a forma da superfície de separação das classes determinada pelo circuito digital por meio da escolha seletiva dos dados de projeto (treinamento). Os dados descartados se tornam don´t care os quais permitem a expansão dos hipercubos formados durante o processo de minimização Booleana. As melhores amostras são aquelas que estão fora das margens de separação das classes, porém perto das margens. A superfície de separação não deve ser tão suave a ponto de privilegiar uma resposta (underfitting), e nem tão encurvada a ponto de contornar todos os dados de treinamento (overfitting). Este é o conhecido “dilema entre a polarização e a variância”. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Regra do Vizinho-mais-próximo Suponha um conjunto X de n amostras xi: X = {x0,x1,...,xn-1}, i = 0,1,...,n-1 onde: xi={xi0,xi1,...,xi(d-1)} d é a dimensão das amostras de entrada cada amostra xi é associada a uma das possíveis classes xi  X é a amostra mais perto a um ponto de teste xj (j  i) A regra do vizinho-mais-próximo (NN) para classificação de xj é associar a ele o rótulo associado com xi. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Exemplo de amostras de valores reais com duas dimensões e duas classes: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Regra do Vizinho-mais-próximo: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Vantagens: Simplicidade; No caso de grande quantidade de amostras, esta regra simples tem uma probabilidade de erro a qual é menor do que o dobro da probabilidade de erro da regra de Bayes. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Desvantagens: Alto custo de armazenamento das amostras; Alto custo no cálculo das distâncias entre as amostras de treinamento e a amostra desconhecida; Depende diretamente da métrica de distância utilizada; A taxa de convergência diminui na medida em que a dimensionalidade do espaço de características incrementa. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Regra do k Vizinho-mais-próximo (k = 3): Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Métricas de distância Euclidiana: Overlap: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

VDM - Value Difference Metric (Stanfill & Waltz, 1986): Distância de Discriminação (Alexander, Clarke & Braga, 1994): Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Métrica de Bayes (Short & Fukunaga, 1981): Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

VDM modificada: Nova métrica: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Metodologia de projeto O método proposto para projeto do circuito classificador digital seleciona os dados de treinamento que estão fora da margem de separação das classes, porém perto das margens. O algoritmo de seleção é baseado na Regra do Vizinho-mais-próximo. O subconjunto de dados selecionados é utilizado pelo algoritmo de minimização Booleana que, pela expansão dos hipercubos, projeta um classificador com uma superfície suave de separação das classes (Lacerda & Braga, 2005). Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Fluxograma da metodologia de projeto proposta: Seleção das amostras para treinamento (RSR) Dados iniciais Minimizador Booleano (Espresso) Circuito digital classificador Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Algoritmo de seleção de amostras (RSR) Obtenção do subconjunto condensado (Peter Hart, 1968 ; K. Gowda, 1979) Redução do subconjunto condensado (Geoffrey Gates, 1972) Subconjunto restante (editing, Dennis Wilson, 1972) Redução do subconjunto restante (Lacerda & Braga, 2004) Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Dados iniciais (2 classes) Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Etapa 1: Subconjunto condensado Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Etapa 2: Subconj. condensado reduzido Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Etapa 3: Subconjunto restante Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Etapa 4: Subconj. restante reduzido (k=5) Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Experimento com dados binários sintéticos Dados binários gerados artificialmente 10 conjuntos de dados 2974 amostras em cada conjunto Amostras de 24 bits de largura 2 classes Classes com sobreposição espacial 80% dos dados para treinamento e 20% para teste Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Histograma dos dados sintéticos: Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No próximo gráfico é apresentado o número médio de acertos de classificação dos dados de teste utilizando os dados de treinamento como referência para o kNN, em diferentes métricas de distância. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No próximo gráfico, é apresentado o número médio de amostras de treinamento selecionadas pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o 1-NN, tendo como referência os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o circuito digital gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

K=7 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

No próximo gráfico, é apresentado o número médio de termos de produto do circuito gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Resultados obtidos com diferentes métodos para obtenção da função lógica do circuito digital classificador com Espresso Método N.amostras Espresso [s] N.produtos Acertos [%] Sem filtragem 2380 (100%) 2 ± 0,5 65 ± 3 84,0 ± 1,6 RSR (k=7,VDMm) 1129±44 (47,4 ±1,8%) < 1 19 ± 1 89,1 ± 1,2 MLP (32 nodos) 6 ± 1 30 ± 2 89,1 ± 1,1 SVM (rbf,w=10,c=1) 5 ± 1 31 ± 1 88,6 ± 0,8 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Processador NIOS II Softcore de processador RISC, implementável em FPGA da Altera® Instruções, dados e endereçamento de 32 bits 32 registradores 32 fontes de interrupção Multiplicação e divisão de 32 bits Cache configurável de instruções e dados Módulo de depuração Ambiente de desenvolvimento Eclipse IDE e C++ Desempenho em torno de 150DMIPS Facilidade para inclusão de novas instruções 3 versões de softcore: economic, standard e fast Vários periféricos e controladores disponíveis Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Kit de desenvolvimento da Altera® com FPGA Cyclone II 2C35 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Kit de desenvolvimento da Altera® com FPGA Cyclone II 2C35 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Implementação com NIOS II em FPGA Interface JTAG Entradas binárias Controle LCD CPU 1 PAL Saída binária RSR Espresso Memória comum CPU 2 CPU 3 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Tempos de execução Plataforma RSR [s] (k=10,VDM) N. amostras Espresso [s] N. produtos PC P4 - 1385 1,8 ± 0,4 37 49 ± 2 831 1,0 ± 0,0 13 NIOS II 486,5 ± 0,5 21403 ± 39 425,8 ± 43,6 *NIOS II 20097 ± 25 * Instrução customizada para cálculo de distância absoluta Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Conclusões O algoritmo RSR seleciona as melhores amostras que representam a categoria dos dados para o projeto do circuito classificador binário. Circuitos digitais podem trabalhar como classificadores e ter boa generalização se o algoritmo RSR for utilizado como pré-processamento dos dados de projeto do circuito. O método RSR reduz a quantidade necessária de amostras para a geração do circuito digital classificador pelo minimizador Booleano e, conseqüentemente, o custo de armazenamento e processamento do minimizador. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

O algoritmo RSR pode ser implementado em hardware e/ou software em conjunto com o minimizador Booleano para geração on-line de classificadores de padrões binários. Circuitos classificadores digitais possuem tempo de atraso de resposta devido ao atraso das portas lógicas. Sistemas de hardware baseados em FPGA facilitam e agilizam a implementação de circuitos multiprocessados e permitem a geração de circuitos combinacionais on-line. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Principais Contribuições Um novo método de seleção de amostras baseado no kNN para treinamento de máquinas de aprendizado. Uma nova métrica de distância entre padrões baseada nos coeficientes da verossimilhança da Regra de Bayes. Uma modificação na métrica VDM. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Uma dedução probabilística da Distância de Discriminação. Um esquema de projeto de circuito digital combinacional para operar como classificador de padrões binários com capacidade de generalização. Uma proposta de implementação em hardware/software de um sistema classificador autônomo, portátil e versátil com capacidade de treinamento on-line e resposta com tempo de atraso mínimo. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Propostas de continuidade Testar o método proposto utilizando outros bancos de dados binários. Utilizar o método de seleção (RSR) para aplicação em conjunto com outros métodos de aprendizado de máquina (ex.: SVM). Converter as implementações em software para hardware. Desenvolver outras métricas específicas para padrões binários. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Desenvolver o método de seleção de amostras para mais de duas classes. Determinar as condições de contorno do problema para as quais cada métrica descrita é mais indicada que outra. Desenvolver o método de seleção de amostras para mais de duas classes. Melhoramentos no algoritmo de seleção de amostras. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Agradecimentos À Deus, por tudo. À minha esposa Adriana e minha filha Yasmim pela compreensão. Ao orientador Prof. Antônio de Pádua Braga, pelas horas de dedicação e disponibilidade. Aos amigos do LITC e CPDEE, pela ajuda nos momentos mais necessários. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

Aos funcionários do CPDEE, pelo profissionalismo. À CAPES, pela ajuda financeira. À Universidade Federal de Lavras por minha liberação. À banca examinadora pelo trabalho. E a todos presentes pela atenção. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE