Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga

Apresentação em tema: "Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga"— Transcrição da apresentação:

1 Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga
UFMG – Escola de Engenharia – PPGEE Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga Belo Horizonte - 22 de fevereiro de 2006

2 Sumário Introdução Objetivos Síntese de circuitos
Controle da generalização Regra do vizinho-mais-próximo Métricas de distância Metodologia de projeto Seleção das amostras Experimentos Processador NIOS II Implementação Conclusões Contribuições Propostas de continuidade Agradecimentos Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

3 Introdução Classificadores de padrões são sistemas capazes de determinar a classe (ou categoria) de uma dada amostra (ou padrão) dentre um conjunto de categorias conhecidas. Aplicações: reconhecimento automático da fala; identificação de manuscritos e caracteres ópticos; identificação de seqüência de DNA; reconhecimento de face humana; identificação para radar. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

4 Classificadores de padrões binários podem ser implementados em circuitos digitais combinacionais utilizando um algoritmo de minimização lógica. Um algoritmo de minimização lógica gera a função Booleana com o menor número de produtos (ou somas), de tal forma que o circuito contenha menos portas lógicas. Minimizar o número de entradas por porta AND e o número total de portas AND em um circuito VLSI é análogo a minimizar o número de antecedentes por regra e o número total de regras em uma base de regras em inteligência artificial. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

5 Em problemas de classificação é mais interessante acertar a resposta para os dados desconhecidos do que acertar a resposta para os dados conhecidos. O classificador deve errar nos dados de treinamento para acertar mais nos dados desconhecidos. Para que um circuito combinacional digital tenha uma boa capacidade de generalização, não basta apenas utilizar o minimizador Booleano para o projeto do circuito. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

6 Objetivos Projeto e implementação de circuitos digitais combinacionais para atuarem como classificadores de padrões binários com capacidade de generalização. Desenvolvimento de um algoritmo de seleção mínima de amostras baseada na Regra do Vizinho-mais-próximo para que a fase de projeto do classificador necessite de menos recursos de armazenamento e processamento, e ainda melhorando a capacidade de generalização. Implementação de um sistema classificador de padrões binários em um circuito embarcado com características de portabilidade, funcionamento rápido em tempo real e com treinamento on-line para atuar em problemas críticos de classificação de padrões. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

7 Síntese de circuitos digitais
x y z S 1 X Suponha o conjunto de dados binários na forma de tabela: Entradas: x, y, z Saída: S Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

8 O mesmo conjunto de dados binários na forma gráfica:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

9 Método tabular de Quine-McCluskey Espresso BOOM
Métodos para determinação da função Booleana (algoritmos de minimização lógica): Mapa de Karnaugh Método tabular de Quine-McCluskey Espresso BOOM Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

10 Exemplo de cobertura para minimização lógica:
S = y + z´.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

11 Outro exemplo de cobertura:
S = z´.x´ + z´.y + y.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

12 Melhor superfície de separação entre as classes “quadrado” e “círculo”:
S = z´.x´ + z´.y + y.x´ Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

13 Implementação do circuito lógico:
PAL - Programmable Array Logic PLA - Programmable Logic Array FPGA - Field Programmable Gate Array Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

14 Controle da generalização
Em uma Máquina de Vetores de Suporte (SVM), o hiperplano ótimo de separação das classes é determinado em função das amostras que se encontram entre as margens (i = C) e nas margens (0 < i < C). Amostras externas às margens (i = 0) são ignoradas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

15 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

16 No treinamento de uma máquina de aprendizado com técnica de Boosting, os padrões com maior erro de classificação tem sua probabilidade de apresentação aumentada. Estes padrões são justamente aqueles mais próximos da fronteira de decisão das classes. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

17 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

18 É possível controlar a forma da superfície de separação das classes determinada pelo circuito digital por meio da escolha seletiva dos dados de projeto (treinamento). Os dados descartados se tornam don´t care os quais permitem a expansão dos hipercubos formados durante o processo de minimização Booleana. As melhores amostras são aquelas que estão fora das margens de separação das classes, porém perto das margens. A superfície de separação não deve ser tão suave a ponto de privilegiar uma resposta (underfitting), e nem tão encurvada a ponto de contornar todos os dados de treinamento (overfitting). Este é o conhecido “dilema entre a polarização e a variância”. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

19 Regra do Vizinho-mais-próximo
Suponha um conjunto X de n amostras xi: X = {x0,x1,...,xn-1}, i = 0,1,...,n-1 onde: xi={xi0,xi1,...,xi(d-1)} d é a dimensão das amostras de entrada cada amostra xi é associada a uma das possíveis classes xi  X é a amostra mais perto a um ponto de teste xj (j  i) A regra do vizinho-mais-próximo (NN) para classificação de xj é associar a ele o rótulo associado com xi. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

20 Exemplo de amostras de valores reais com duas dimensões e duas classes:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

21 Regra do Vizinho-mais-próximo:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

22 Vantagens: Simplicidade;
No caso de grande quantidade de amostras, esta regra simples tem uma probabilidade de erro a qual é menor do que o dobro da probabilidade de erro da regra de Bayes. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

23 Desvantagens: Alto custo de armazenamento das amostras;
Alto custo no cálculo das distâncias entre as amostras de treinamento e a amostra desconhecida; Depende diretamente da métrica de distância utilizada; A taxa de convergência diminui na medida em que a dimensionalidade do espaço de características incrementa. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

24 Regra do k Vizinho-mais-próximo (k = 3):
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

25 Métricas de distância Euclidiana: Overlap:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

26 VDM - Value Difference Metric (Stanfill & Waltz, 1986):
Distância de Discriminação (Alexander, Clarke & Braga, 1994): Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

27 Métrica de Bayes (Short & Fukunaga, 1981):
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

28 VDM modificada: Nova métrica:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

29 Metodologia de projeto
O método proposto para projeto do circuito classificador digital seleciona os dados de treinamento que estão fora da margem de separação das classes, porém perto das margens. O algoritmo de seleção é baseado na Regra do Vizinho-mais-próximo. O subconjunto de dados selecionados é utilizado pelo algoritmo de minimização Booleana que, pela expansão dos hipercubos, projeta um classificador com uma superfície suave de separação das classes (Lacerda & Braga, 2005). Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

30 Fluxograma da metodologia de projeto proposta:
Seleção das amostras para treinamento (RSR) Dados iniciais Minimizador Booleano (Espresso) Circuito digital classificador Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

31 Algoritmo de seleção de amostras (RSR)
Obtenção do subconjunto condensado (Peter Hart, 1968 ; K. Gowda, 1979) Redução do subconjunto condensado (Geoffrey Gates, 1972) Subconjunto restante (editing, Dennis Wilson, 1972) Redução do subconjunto restante (Lacerda & Braga, 2004) Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

32 Dados iniciais (2 classes)
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

33 Etapa 1: Subconjunto condensado
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

34 Etapa 2: Subconj. condensado reduzido
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

35 Etapa 3: Subconjunto restante
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

36 Etapa 4: Subconj. restante reduzido (k=5)
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

37 Experimento com dados binários sintéticos
Dados binários gerados artificialmente 10 conjuntos de dados 2974 amostras em cada conjunto Amostras de 24 bits de largura 2 classes Classes com sobreposição espacial 80% dos dados para treinamento e 20% para teste Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

38 Histograma dos dados sintéticos:
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

39 No próximo gráfico é apresentado o número médio de acertos de classificação dos dados de teste utilizando os dados de treinamento como referência para o kNN, em diferentes métricas de distância. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

40 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

41 No próximo gráfico, é apresentado o número médio de amostras de treinamento selecionadas pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

42 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

43 No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o 1-NN, tendo como referência os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

44 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

45 No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o circuito digital gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

46 K=7 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

47 No próximo gráfico, é apresentado o número médio de termos de produto do circuito gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

48 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

49 Resultados obtidos com diferentes métodos para obtenção da função lógica do circuito digital classificador com Espresso Método N.amostras Espresso [s] N.produtos Acertos [%] Sem filtragem 2380 (100%) 2 ± 0,5 65 ± 3 84,0 ± 1,6 RSR (k=7,VDMm) 1129±44 (47,4 ±1,8%) < 1 19 ± 1 89,1 ± 1,2 MLP (32 nodos) 6 ± 1 30 ± 2 89,1 ± 1,1 SVM (rbf,w=10,c=1) 5 ± 1 31 ± 1 88,6 ± 0,8 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

50 Processador NIOS II Softcore de processador RISC, implementável em FPGA da Altera® Instruções, dados e endereçamento de 32 bits 32 registradores 32 fontes de interrupção Multiplicação e divisão de 32 bits Cache configurável de instruções e dados Módulo de depuração Ambiente de desenvolvimento Eclipse IDE e C++ Desempenho em torno de 150DMIPS Facilidade para inclusão de novas instruções 3 versões de softcore: economic, standard e fast Vários periféricos e controladores disponíveis Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

51 Kit de desenvolvimento da Altera® com FPGA Cyclone II 2C35
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

52 Kit de desenvolvimento da Altera® com FPGA Cyclone II 2C35
Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

53 Implementação com NIOS II em FPGA
Interface JTAG Entradas binárias Controle LCD CPU 1 PAL Saída binária RSR Espresso Memória comum CPU 2 CPU 3 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

54 Tempos de execução Plataforma RSR [s] (k=10,VDM) N. amostras
Espresso [s] N. produtos PC P4 - 1385 1,8 ± 0,4 37 49 ± 2 831 1,0 ± 0,0 13 NIOS II 486,5 ± 0,5 21403 ± 39 425,8 ± 43,6 *NIOS II 20097 ± 25 * Instrução customizada para cálculo de distância absoluta Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

55 Conclusões O algoritmo RSR seleciona as melhores amostras que representam a categoria dos dados para o projeto do circuito classificador binário. Circuitos digitais podem trabalhar como classificadores e ter boa generalização se o algoritmo RSR for utilizado como pré-processamento dos dados de projeto do circuito. O método RSR reduz a quantidade necessária de amostras para a geração do circuito digital classificador pelo minimizador Booleano e, conseqüentemente, o custo de armazenamento e processamento do minimizador. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

56 O algoritmo RSR pode ser implementado em hardware e/ou software em conjunto com o minimizador Booleano para geração on-line de classificadores de padrões binários. Circuitos classificadores digitais possuem tempo de atraso de resposta devido ao atraso das portas lógicas. Sistemas de hardware baseados em FPGA facilitam e agilizam a implementação de circuitos multiprocessados e permitem a geração de circuitos combinacionais on-line. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

57 Principais Contribuições
Um novo método de seleção de amostras baseado no kNN para treinamento de máquinas de aprendizado. Uma nova métrica de distância entre padrões baseada nos coeficientes da verossimilhança da Regra de Bayes. Uma modificação na métrica VDM. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

58 Uma dedução probabilística da Distância de Discriminação.
Um esquema de projeto de circuito digital combinacional para operar como classificador de padrões binários com capacidade de generalização. Uma proposta de implementação em hardware/software de um sistema classificador autônomo, portátil e versátil com capacidade de treinamento on-line e resposta com tempo de atraso mínimo. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

59 Propostas de continuidade
Testar o método proposto utilizando outros bancos de dados binários. Utilizar o método de seleção (RSR) para aplicação em conjunto com outros métodos de aprendizado de máquina (ex.: SVM). Converter as implementações em software para hardware. Desenvolver outras métricas específicas para padrões binários. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

60 Desenvolver o método de seleção de amostras para mais de duas classes.
Determinar as condições de contorno do problema para as quais cada métrica descrita é mais indicada que outra. Desenvolver o método de seleção de amostras para mais de duas classes. Melhoramentos no algoritmo de seleção de amostras. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

61 Agradecimentos À Deus, por tudo.
À minha esposa Adriana e minha filha Yasmim pela compreensão. Ao orientador Prof. Antônio de Pádua Braga, pelas horas de dedicação e disponibilidade. Aos amigos do LITC e CPDEE, pela ajuda nos momentos mais necessários. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE

62 Aos funcionários do CPDEE, pelo profissionalismo.
À CAPES, pela ajuda financeira. À Universidade Federal de Lavras por minha liberação. À banca examinadora pelo trabalho. E a todos presentes pela atenção. Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE