A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor:

Apresentações semelhantes


Apresentação em tema: "Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor:"— Transcrição da apresentação:

1 Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor: Wilian Soares Lacerda Orientador: Antônio Pádua Braga UFMG – Escola de Engenharia – PPGEE Belo Horizonte - 22 de fevereiro de 2006

2 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE2 Sumário Introdução Objetivos Síntese de circuitos Controle da generalização Regra do vizinho-mais-próximo Métricas de distância Metodologia de projeto Seleção das amostras Experimentos Processador NIOS II Implementação Conclusões Contribuições Propostas de continuidade Agradecimentos

3 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE3 Introdução Classificadores de padrões são sistemas capazes de determinar a classe (ou categoria) de uma dada amostra (ou padrão) dentre um conjunto de categorias conhecidas. Aplicações:  reconhecimento automático da fala;  identificação de manuscritos e caracteres ópticos;  identificação de seqüência de DNA;  reconhecimento de face humana;  identificação para radar.

4 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE4 Classificadores de padrões binários podem ser implementados em circuitos digitais combinacionais utilizando um algoritmo de minimização lógica. Um algoritmo de minimização lógica gera a função Booleana com o menor número de produtos (ou somas), de tal forma que o circuito contenha menos portas lógicas. Minimizar o número de entradas por porta AND e o número total de portas AND em um circuito VLSI é análogo a minimizar o número de antecedentes por regra e o número total de regras em uma base de regras em inteligência artificial.

5 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE5 Em problemas de classificação é mais interessante acertar a resposta para os dados desconhecidos do que acertar a resposta para os dados conhecidos. O classificador deve errar nos dados de treinamento para acertar mais nos dados desconhecidos. Para que um circuito combinacional digital tenha uma boa capacidade de generalização, não basta apenas utilizar o minimizador Booleano para o projeto do circuito.

6 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE6 Objetivos Projeto e implementação de circuitos digitais combinacionais para atuarem como classificadores de padrões binários com capacidade de generalização. Desenvolvimento de um algoritmo de seleção mínima de amostras baseada na Regra do Vizinho-mais- próximo para que a fase de projeto do classificador necessite de menos recursos de armazenamento e processamento, e ainda melhorando a capacidade de generalização. Implementação de um sistema classificador de padrões binários em um circuito embarcado com características de portabilidade, funcionamento rápido em tempo real e com treinamento on-line para atuar em problemas críticos de classificação de padrões.

7 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE7 Síntese de circuitos digitais Suponha o conjunto de dados binários na forma de tabela: xyzS X Entradas: x, y, z Saída: S

8 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE8 O mesmo conjunto de dados binários na forma gráfica:

9 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE9 Métodos para determinação da função Booleana (algoritmos de minimização lógica): Mapa de Karnaugh Método tabular de Quine-McCluskey Espresso BOOM

10 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE10 Exemplo de cobertura para minimização lógica: S = y + z´.x´

11 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE11 Outro exemplo de cobertura: S = z´.x´ + z´.y + y.x´

12 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE12 Melhor superfície de separação entre as classes “quadrado” e “círculo”: S = z´.x´ + z´.y + y.x´

13 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE13 Implementação do circuito lógico: PAL - Programmable Array Logic PLA - Programmable Logic Array FPGA - Field Programmable Gate Array

14 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE14 Controle da generalização Em uma Máquina de Vetores de Suporte (SVM), o hiperplano ótimo de separação das classes é determinado em função das amostras que se encontram entre as margens (  i = C) e nas margens (0 <  i < C). Amostras externas às margens (  i = 0) são ignoradas.

15 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE15

16 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE16 No treinamento de uma máquina de aprendizado com técnica de Boosting, os padrões com maior erro de classificação tem sua probabilidade de apresentação aumentada. Estes padrões são justamente aqueles mais próximos da fronteira de decisão das classes.

17 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE17

18 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE18 É possível controlar a forma da superfície de separação das classes determinada pelo circuito digital por meio da escolha seletiva dos dados de projeto (treinamento). Os dados descartados se tornam don´t care os quais permitem a expansão dos hipercubos formados durante o processo de minimização Booleana. As melhores amostras são aquelas que estão fora das margens de separação das classes, porém perto das margens. A superfície de separação não deve ser tão suave a ponto de privilegiar uma resposta (underfitting), e nem tão encurvada a ponto de contornar todos os dados de treinamento (overfitting). Este é o conhecido “dilema entre a polarização e a variância”.

19 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE19 Regra do Vizinho-mais-próximo Suponha um conjunto X de n amostras x i : X = {x 0,x 1,...,x n-1 }, i = 0,1,...,n-1 onde: x i ={x i0,x i1,...,x i(d-1) } d é a dimensão das amostras de entrada cada amostra x i é associada a uma das possíveis classes x i  X é a amostra mais perto a um ponto de teste x j (j  i) A regra do vizinho-mais-próximo (NN) para classificação de x j é associar a ele o rótulo associado com x i.

20 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE20 Exemplo de amostras de valores reais com duas dimensões e duas classes:

21 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE21 Regra do Vizinho-mais-próximo:

22 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE22 Vantagens: Simplicidade; No caso de grande quantidade de amostras, esta regra simples tem uma probabilidade de erro a qual é menor do que o dobro da probabilidade de erro da regra de Bayes.

23 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE23 Desvantagens: Alto custo de armazenamento das amostras; Alto custo no cálculo das distâncias entre as amostras de treinamento e a amostra desconhecida; Depende diretamente da métrica de distância utilizada; A taxa de convergência diminui na medida em que a dimensionalidade do espaço de características incrementa.

24 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE24 Regra do k Vizinho-mais-próximo (k = 3):

25 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE25 Métricas de distância Euclidiana: Overlap:

26 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE26 VDM - Value Difference Metric (Stanfill & Waltz, 1986): Distância de Discriminação (Alexander, Clarke & Braga, 1994):

27 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE27 Métrica de Bayes (Short & Fukunaga, 1981):

28 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE28 VDM modificada: Nova métrica:

29 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE29 Metodologia de projeto O método proposto para projeto do circuito classificador digital seleciona os dados de treinamento que estão fora da margem de separação das classes, porém perto das margens. O algoritmo de seleção é baseado na Regra do Vizinho-mais-próximo. O subconjunto de dados selecionados é utilizado pelo algoritmo de minimização Booleana que, pela expansão dos hipercubos, projeta um classificador com uma superfície suave de separação das classes (Lacerda & Braga, 2005).

30 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE30 Dados iniciais Seleção das amostras para treinamento (RSR) Minimizador Booleano (Espresso) Circuito digital classificador Fluxograma da metodologia de projeto proposta:

31 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE31 1. Obtenção do subconjunto condensado (Peter Hart, 1968 ; K. Gowda, 1979) 2. Redução do subconjunto condensado (Geoffrey Gates, 1972) 3. Subconjunto restante (editing, Dennis Wilson, 1972) 4. Redução do subconjunto restante (Lacerda & Braga, 2004) Algoritmo de seleção de amostras (RSR)

32 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE32 Dados iniciais (2 classes)

33 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE33 Etapa 1: Subconjunto condensado

34 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE34 Etapa 2: Subconj. condensado reduzido

35 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE35 Etapa 3: Subconjunto restante

36 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE36 Etapa 4: Subconj. restante reduzido (k=5)

37 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE37 Experimento com dados binários sintéticos Dados binários gerados artificialmente 10 conjuntos de dados 2974 amostras em cada conjunto Amostras de 24 bits de largura 2 classes Classes com sobreposição espacial 80% dos dados para treinamento e 20% para teste

38 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE38 Histograma dos dados sintéticos:

39 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE39 No próximo gráfico é apresentado o número médio de acertos de classificação dos dados de teste utilizando os dados de treinamento como referência para o kNN, em diferentes métricas de distância.

40 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE40

41 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE41 No próximo gráfico, é apresentado o número médio de amostras de treinamento selecionadas pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.

42 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE42

43 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE43 No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o 1-NN, tendo como referência os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.

44 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE44

45 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE45 No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o circuito digital gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.

46 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE46 K=7

47 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE47 No próximo gráfico, é apresentado o número médio de termos de produto do circuito gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.

48 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE48

49 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE49 Resultados obtidos com diferentes métodos para obtenção da função lógica do circuito digital classificador com Espresso MétodoN.amostras Espresso [s] N.produtos Acertos [%] Sem filtragem 2380 (100%) 2 ± 0,565 ± 384,0 ± 1,6 RSR (k=7,VDMm) 1129±44 (47,4 ±1,8%) < 119 ± 189,1 ± 1,2 MLP (32 nodos) 2380 (100%) 6 ± 130 ± 289,1 ± 1,1 SVM (rbf,w=10,c=1) 2380 (100%) 5 ± 131 ± 188,6 ± 0,8

50 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE50 Processador NIOS II Softcore de processador RISC, implementável em FPGA da Altera ® Instruções, dados e endereçamento de 32 bits 32 registradores 32 fontes de interrupção Multiplicação e divisão de 32 bits Cache configurável de instruções e dados Módulo de depuração Ambiente de desenvolvimento Eclipse IDE e C++ Desempenho em torno de 150DMIPS Facilidade para inclusão de novas instruções 3 versões de softcore: economic, standard e fast Vários periféricos e controladores disponíveis

51 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE51 Kit de desenvolvimento da Altera ® com FPGA Cyclone II 2C35

52 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE52 Kit de desenvolvimento da Altera ® com FPGA Cyclone II 2C35

53 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE53 Implementação com NIOS II em FPGA Interface JTAG CPU 1 CPU 2CPU 3 Memória comum PALLCD Entradas binárias Saída binária Controle RSREspresso

54 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE54 Tempos de execução Plataforma RSR [s] (k=10,VDM) N. amostrasEspresso [s]N. produtos PC P ,8 ± 0,437 PC P449 ± 28311,0 ± 0,013 NIOS II ,5 ± 0,537 NIOS II21403 ± ,8 ± 43,613 *NIOS II20097 ± ,8 ± 43,613 * Instrução customizada para cálculo de distância absoluta

55 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE55 Conclusões O algoritmo RSR seleciona as melhores amostras que representam a categoria dos dados para o projeto do circuito classificador binário. Circuitos digitais podem trabalhar como classificadores e ter boa generalização se o algoritmo RSR for utilizado como pré- processamento dos dados de projeto do circuito. O método RSR reduz a quantidade necessária de amostras para a geração do circuito digital classificador pelo minimizador Booleano e, conseqüentemente, o custo de armazenamento e processamento do minimizador.

56 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE56 O algoritmo RSR pode ser implementado em hardware e/ou software em conjunto com o minimizador Booleano para geração on-line de classificadores de padrões binários. Circuitos classificadores digitais possuem tempo de atraso de resposta devido ao atraso das portas lógicas. Sistemas de hardware baseados em FPGA facilitam e agilizam a implementação de circuitos multiprocessados e permitem a geração de circuitos combinacionais on-line.

57 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE57 Principais Contribuições Um novo método de seleção de amostras baseado no kNN para treinamento de máquinas de aprendizado. Uma nova métrica de distância entre padrões baseada nos coeficientes da verossimilhança da Regra de Bayes. Uma modificação na métrica VDM.

58 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE58 Uma dedução probabilística da Distância de Discriminação. Um esquema de projeto de circuito digital combinacional para operar como classificador de padrões binários com capacidade de generalização. Uma proposta de implementação em hardware/software de um sistema classificador autônomo, portátil e versátil com capacidade de treinamento on-line e resposta com tempo de atraso mínimo.

59 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE59 Propostas de continuidade Testar o método proposto utilizando outros bancos de dados binários. Utilizar o método de seleção (RSR) para aplicação em conjunto com outros métodos de aprendizado de máquina (ex.: SVM). Converter as implementações em software para hardware. Desenvolver outras métricas específicas para padrões binários.

60 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE60 Determinar as condições de contorno do problema para as quais cada métrica descrita é mais indicada que outra. Desenvolver o método de seleção de amostras para mais de duas classes. Melhoramentos no algoritmo de seleção de amostras.

61 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE61 Agradecimentos À Deus, por tudo. À minha esposa Adriana e minha filha Yasmim pela compreensão. Ao orientador Prof. Antônio de Pádua Braga, pelas horas de dedicação e disponibilidade. Aos amigos do LITC e CPDEE, pela ajuda nos momentos mais necessários.

62 Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE62 Aos funcionários do CPDEE, pelo profissionalismo. À CAPES, pela ajuda financeira. À Universidade Federal de Lavras por minha liberação. À banca examinadora pelo trabalho. E a todos presentes pela atenção.


Carregar ppt "Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra do Vizinho-mais-próximo Modificada Autor:"

Apresentações semelhantes


Anúncios Google