1 Extração de Características Esqueletização > Algoritmo de G&W > Morfologia matemática Detecção de Bordas Momentum Regiões de Pressão Descrição estrutural Classificação Teoria de Decisão de Bayes K vmp Redes Neurais > MLP BP > GSN > Neuro-Fuzzy n Escopo de investigação Reconhecimento off-line de Assinaturas

2 Esquemas de conexão entre as técnicas de extração de características Assinatura Pré-processada cinza/binária Borda cinza/binária Esqueleto cinza/binária Regiões de Pressão cinza/binária InclinaçãoMomentumFatores de Pressão Imagens Vetores de Características

3 Reconhecimento off-line de Assinaturas n Esquemas de conexão entre técnicas de extração de características e reconhecimento Imagem binária Imagem cinza Vetor de Características GSN K vmp Neuro-Fuzzy MLP BP

4 Base de Dados –50 classes (autores) –20 assinaturas verdadeiras por classe –20 assinaturas falsas por classe 10 simples ou randômicas 10 habilidosas –Total de 2000 amostras Reconhecimento off-line de Assinaturas

5 n Segmentação u Do formulário e das assinaturas individuais u A partir das projeções vertical e horizontal n Pré-processamento Equalização de Background Amortecimento Binarização Extração da imagem Reconhecimento off-line de Assinaturas

6 n Extração de características

7 Momentum

8 Bordas e Inclinação

9 Regiões de Pressão

10 n Armazenamento u Imagens F Original, segmentada e pré-processada, esqueleto, borda e pressão F Formato GIF u Vetor de características híbrido F Momentum padrão (6 valores) F Número de componentes verticais F Inclinações (negativa, vertical, positiva) F Limiar de alta pressão (THP) F Fator de pressão (PF) Reconhecimento off-line de Assinaturas

11 n Experimentos u Apenas verificação u Classificadores K vmp, MLP MP e Neuro-Fuzzy u Treinamento: 1 a 5 verdadeiras u Teste: 15 verdadeiras + 20 falsas u Criterio de rejeição: Neuro-Fuzzy e K vmp rejeitar X  (C - R) < X < (C + R) u Performance = Acerto - (ErroI + ErroII) CC-RC+R Reconhecimento off-line de Assinaturas

12 K vizinhos mais próximos Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance K todas simuladas randômicas Reconhecimento off-line de Assinaturas

13 Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas simuladas randômicas Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas simuladas randômicas MLP Backpropagation –Investigadas 3 arquiteturas (a) entradas[12], escondida[12], saída[1] (b) entradas[12], escondida[6], saída[1] -- melhor (c) entradas[12], escondida[3], saída[1] 1o. padrão melhor padrão Reconhecimento off-line de Assinaturas

14 Classificador neural difuso Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas simuladas randômicas Reconhecimento off-line de Assinaturas

15 n Atividades desenvolvidas Pesquisa bibliográfica nas áreas de redes neurais, processamento de imagens e reconhecimento de padrões Construção de uma base de dados de assinaturas utilizando técnicas para aquisição, pré-processamento e segmentação Investigação experimental de algumas configurações de técnicas sobre a base de dados Estudo teórico enfatizando técnicas para extração de características e reconhecimento Reconhecimento off-line de Assinaturas

16 Sistemas de Visão Biologicamente Inspirados Mechanisms from Biology –Foveated vision: retina-like image representation (log-polar) has useful properties –Visual attention: fixation gives insights where object features (or components) are likely to be found –Primal sketch: provides more compact representations for image data and cues for an attention mechanism

17 System’s architecture Primitive models Model relationships Model base Cluster objects Update attention Attention Map Feature planes Extract primal sketch planes Foveate Image Generic Scenes Sistemas de Visão Biologicamente Inspirados

18 Image representation –Gaussian receptive field function –Local contrast normalisation for estimating original reflectance information –Primal sketch features (edges, bars, blobs and ends) learned and extracted using a neural network approach –Log-polar Sistemas de Visão Biologicamente Inspirados

19 Traditional image feature extraction operators –Cartesian domain (artefact of sensor architecture) –Work independently of each other –Designed by hand Primate visual system –Mapping from retina to visual cortex is log-polar –Learning Primal sketch [Marr82] –Features like edges, bars, blobs, ends detected at a number of orientations and contrasts –Grouping processes Sistemas de Visão Biologicamente Inspirados

20 Related Work –Neural network learning of Edge features [CTR95,PB92] Limited to edges Comparable to Sobel or Canny performances –Arbitrary features in the log-polar domain [GF96] Operators manually designed Poor sensitivity to the feature´s contrast Limited to a fixed window size a f x e d c b ABS(f+a+b-c-d-e)/3 = ABS(a+b+c-d-e-f)/3... +Blob = MIN(x-a,x-b,x-c,x-d,x-e,x-f) Extração de Características

21 Training process Exemplars of Features Normalise Orientation Compute Projection Build Training Set Train Neural Networks Training Set NN Edge Bar Blob End PCs Edge Bar Blob End feature class and contrast recep. field windows Extração de Características

22 Testing process Test Images Extract Recep. Fields Normalise Orientation Apply Neural Networks Compute Feature Planes NN Edge Bar Blob End PCs Edge Bar Blob End Compute Projection Planes Edge Bar Blob End Feature class, position contrast and orientation position orientation Extração de Características

23 Principal Components from a set of synthetic features Extração de Características

24 Neural network architecture Ñ N Receptive field window [1x19][19x17][1x17] PCA projected window Neural network Principal components Edge Bar Blob End Extração de Características

25 Evaluation –Ground truth for untrained synthetic features Extração de Características

26 Output of the Edge neural module Extração de Características

27 Testing on synthetic images Input Retinal Output Edges+Bars-Blobs+Blobs Extração de Características

28 Testing on real images Neural Outputs Retinal Image Logical Operators Input Image Extração de Características

29 Conclusions –New learning-based approach to extracting primal sketch features –Better results when compared to a previous approach More correctly classified features Good estimate for the feature´s contrast Can be easily applied to different window sizes and new feature types –Successfully being used as the core representation in the problem of learning structural relationships from sets of 2D image-based models Extração de Características

30 Reconhecimento de Objetos Baseado na Aparência Usando SVM Base de Dados Minolta –Objetivo: avaliar o comportamento de SVM diante do problema. –Base de dados: Minolta - da Universidade do Estado de Ohio, disponível em sampl.eng.ohio- state.edu/~sampl/data/3DDB/RID/minolta. –Foram selecionadas 10 classes de objetos (angel, brain, bottle, duck, face, frog, horn, lobster, pooh e valve). –20 visões diferentes de cada classe

31 –Preprocessamento: todas as imagens foram convertidas para níveis de cinza e re-escalonadas para o tamanho 100x100 pixels. Figura 6 Objeto angel Figura 7 Objeto horn Reconhecimento de Objetos Baseado na Aparência Usando SVM

32 –Ferramenta: OSU SVM toolbox Matlab, eewww.eng.ohio-state.edu/~maj/osu_svm; Tipo de kernel: Polinomial de grau 2. Tipo de algoritmo: classificador padrão. –Foi utilizada a estratégia de construção de conjuntos de treinamento e teste com diferentes tamanhos: Cada conjunto de treinamento usou T amostras por classe e cada conjunto de teste usou (20-T) amostras por classe, onde T=1,2,...,19. Reconhecimento de Objetos Baseado na Aparência Usando SVM

33 Resultados: Figura 8 Desempenho de SVM na base Minolta –Taxa média de reconheci- mento foi 90%; –Melhor taxa 98%, para T=13; –Pior taxa 71% para T=1; Reconhecimento de Objetos Baseado na Aparência Usando SVM

34 Base de dados: COIL100 – disponível em –É uma das melhores bases para investigar algoritmos de reconhecimento baseado na aparência. –Consiste de imagens coloridas de 100 objetos. –Cada imagem foi adquirida em uma variação de 5 o, formando 72 visões para cada imagem, com dimensão 128x128. Reconhecimento de Objetos Baseado na Aparência Usando SVM

35 Pré-processamento: todas as imagens foram convertidas para níveis de cinza e re-escalonadas para o tamanho 32x32 pixels. –Dependendo do ângulo algumas imagens parecem maiores. Figura 9 Alguns objetos da COIL100 Figura 10 Visões do objeto 44, do ângulo 260 o a 300 o Reconhecimento de Objetos Baseado na Aparência Usando SVM

36 Ferramentas: –Para SVM: LIBSVM, disponível em –Para Redes Neurais: SNNS (Stuttgart Neural Network Simulator), disponível em www- ra.informatik.uni-tuebingen.de/SNNS.www- ra.informatik.uni-tuebingen.de/SNNS Reconhecimento de Objetos Baseado na Aparência Usando SVM

37 Testando diferentes Kernels –Objetivo: fazer uma avaliação prática sobre a precisão, comportamento e número de vetores de suporte produzidos por três tipos de kernel polinomial: linear; quadrático; cúbico. Reconhecimento de Objetos Baseado na Aparência Usando SVM

38 Treinamento/teste: Foram construídos conjuntos de treinamento/teste de diferentes tamanhos. –todas as 100 classes foram utilizadas e todas as visões; –um total de 71 conjuntos de treinamento e de teste foram criados; –T amostras (visões aleatórias) para treinamento e (71-T) para testes, por classe, onde T=1,2,...,71. Reconhecimento de Objetos Baseado na Aparência Usando SVM

39 Figura 11 Número de vetores de suporte criados versus tamanho do conjunto de treinamento (100*T) para os três tipos de kernel. Resultados: Reconhecimento de Objetos Baseado na Aparência Usando SVM

40 Resultados: pequena superioridade para o kernel quadrático. Foi realizada a estratégia k-fold cross validation para reforçar os resultados obtidos; –valor de k=10; –precisão média alcançada: 87,55% Reconhecimento de Objetos Baseado na Aparência Usando SVM

41 Resultados Figura 12 Curvas de reconhecimento para os kernels: linear, quadrático e cúbico Reconhecimento de Objetos Baseado na Aparência Usando SVM

42 Estudo Comparativo: SVM x Redes Neurais –Objetivo: Comparar experimentalmente SVM e Redes Neurais do tipo Multilayer Perceptron Backpropagation; –Considerou apenas aspectos relativos à precisão; –Estratégia de classificação multiclasses: “um-versus- um”; –A estratégia multiclasses produziria um elevada quantidade de classificadores; –Foi necessário portanto, reduzir a quantidade de classes. –O número de classes utilizadas foi 10; Reconhecimento de Objetos Baseado na Aparência Usando SVM

43 Estudo Comparativo: SVM x Redes Neurais –Treinamento/teste: Foram construídos conjuntos de treinamento/teste de diferentes tamanhos; –Todas as 10 classes foram utilizadas e todas as 72 visões; –Foram produzidos 45 classificadores binários para cada tamanho de conjunto de treinamento/teste (71 conjuntos); –Arquitetura da Rede: Camada de Entrada: 1024 neurônios Camada Escondida: 4 neurônios Camada de Saída: 2 neurônios. Reconhecimento de Objetos Baseado na Aparência Usando SVM

44 As técnicas apresentaram desempenho semelhante Figura 13 Curvas de reconhecimento para SVM e Redes Neurais Reconhecimento de Objetos Baseado na Aparência Usando SVM

45 Conclusões –Apresentou SVM como como uma opção para realizar reconhecimento de objetos baseado na aparência; Investigou o desempenho da técnica nesse problema; Comparou três tipos de SVM; Comparou SVM com Redes Neurais; –Procurou apresentar a teoria de formaliza SVM utilizando uma linguagem mais didática e acessível Reconhecimento de Objetos Baseado na Aparência Usando SVM

46 Perspectivas de Trabalhos Futuros –Realizar o estudo comparativo entre SVM e Redes Neurais utilizando todas as 100 classes; –Testar extensões de SVM; –Estudo comparativo entre metodologias multiclasses; –Extender o domínio de aplicação de SVM para problemas como Regressão e Detecção de Novidades. Reconhecimento de Objetos Baseado na Aparência Usando SVM

47 Descrição do problema –Dirigir  processamento intensivo da informação visual; Sistemas de Apoio ao Motorista (Driver Support Systems – DSS); – Segurança; – Conforto. Segurança de tráfego  Sinalização: – Desatenção; – Tráfego intenso; – O sistema como um co-piloto Reconhecimento de Placas de Sinalização

48 Reconhecimento de Placas de Sinalização Objetivos e Relevância: –Escopo do trabalho; –Objetivos principais: Estudar e implementar um mecanismo de atenção visual; Investigar a utilização de uma Rede Neural para a tarefa de classificação. –Contribuições: Perspectiva de geração de conhecimentos para o desenvolvimento de tecnologia nacional em DSS; Proposta de um modelo híbrido biologicamente inspirado; –Mecanismo de Atenção Visual + Redes Neurais.

49 Objetivos e Relevância: –Contribuições: Demonstração da aplicabilidade de um mecanismo de atenção visual à tarefa de localização de placas; Perspectiva de parcerias. Reconhecimento de Placas de Sinalização

50 Trabalhos relacionados: –Detecção de obstáculos; –Detecção de marcas da pista; –Sistemas Integrados; –Detecção e reconhecimento de sinais de tráfego: Busca reduzida através de algum conhecimento a priori; Análise geométrica das arestas da imagem; Reconhecimento  Correlação cruzada Reconhecimento de Placas de Sinalização Piccioli e Colegas, 1996 Reconhecimento de Placas de Sinalização

51 Trabalhos relacionados: –Detecção e reconhecimento de sinais de tráfego: Segmentação de cor (Color Structure Code); Reconhecimento  controle fuzzy; Parceria: Daimler-Benz e Universidade Koblenz- Landau Priese e colegas, 1993 Reconhecimento de Placas de Sinalização

52 Arquitetura Geral Reconhecimento de Placas de Sinalização

53 Experimentos preliminares: –Seleção manual de Placas; –Classe: placas pare, proibido ultrapassar e imagens sem placas – 14 imagens; –Pré-processamento; –Treinando com T padrões e testando com 14-T; –Resultados: Melhor taxa – 100% ; Pior taxa – 56,41%; Indicaram a possibilidade de classificar imagens pequenas (20x20 pixels). Reconhecimento de Placas de Sinalização

54 Definição da Arquitetura Neural: –Camada de entrada = 400 neurônios  tamanho das imagens; –Camada de saída = número de classes  winner-takes-all; –Camada escondida N o de NeurôniosSSE/1000 Épocas 729, , , , , , , , , ,0807 ClassesSaídas Desejadas Reconhecimento de Placas de Sinalização

55 Módulo de Detecção: –Imagens com placas  15 imagens  16 placas; –Número fixo de regiões selecionadas (K); –Resultados: K=5  75% de localização (12 imagens); K=19  93,75% de localização (15 imagens); –Análise a partir da complexidade da busca: K=5  0,0059% dos pontos da imagem; K=19  0,0225% dos pontos imagem; –Comparação com a geração randômica de pontos de interesse; Reconhecimento de Placas de Sinalização

56 Integração dos módulos: –Formação de novos conjuntos de treinamento e teste; Ocorrência de placas durante o vídeo; Poucas ocorrências  escolhidas 2 por classe; Quadros sucessivos + microsacadas = 85 imagens por classe; 7 classes: Uma classe de imagens sem placas; Reconhecimento de Placas de Sinalização

57 Integração dos módulos: –Resultados – Módulo de Detecção: Mesmo método utilizado no primeiro experimento; Máscara com raio menor (5)  menor risco de inibição inesperada  aumento no número de pontos analisados; K=33  100% de localização  0,039% dos pontos da imagem; Regiões selecionadas  formam o conjunto de teste para o Módulo de Reconhecimento. Reconhecimento de Placas de Sinalização

58 Integração dos módulos: –Resultados – Módulo de Reconhecimento: Arquitetura definida através de experimentos anteriores; Taxa de acerto no treinamento  100%; Baixas taxas de acerto nos testes: ClasseTaxa de Acerto 112,94 % 228,23 % 32,35 % 41,18 % 512,94 % 657,64 % 78,23 % Reconhecimento de Placas de Sinalização

59 Integração dos módulos: –Resultados – Módulo de Reconhecimento: Motivos principais: 1.Falta de uma pré-processamento mais robusto e uma representação mais compacta dos padrões; 2.Dimensionalidade do espaço de características; 3.A limitação da arquitetura MLP-BP em relação a translação dos objetos na imagem ( Kröner, 1996). Classificadores Binários  combinação de classes duas a duas; Arquitetura  baseada nos experimentos anteriores; Treinamento  100% de acerto para todas as redes. Reconhecimento de Placas de Sinalização

60 Integração dos módulos: –Resultados: Classe – ClasseTaxa de Acerto 1 – 290 % 1 – 340 % 1 – 460 % 1 – 560 % 1 – 660 % 2 – 350 % 2 – 480 % 2 – 560 % 2 – 6100 % 3 – 460 % 3 – 560 % 3 – 660 % 4 – 540 % 4 – 650 % 5 – 680 % Módulo de Reconhecimento ANÁLISE POR VOTAÇÃO Reconhecimento de Placas de Sinalização

61 Integração dos módulos: –Resultados: Módulo de Reconhecimento ANÁLISE ABSOLUTA Classe – ClasseTaxa de Acerto 1 – 284,12 % 1 – 340,59 % 1 – 454,12 % 1 – 552,94 % 1 – 657,64 % 2 – 341,17 % 2 – 458,82 % 2 – 553,52 % 2 – 680,58 % 3 – 451,17 % 3 – 563,53 % 3 – 652,35 % 4 – 543,52 % 4 – 652,35 % 5 – 655,88 % Reconhecimento de Placas de Sinalização

62 Análise dos resultados: –Alto desempenho do mecanismo de atenção na localização das placas; –Inibição de placas  redução no raio da máscara; –Regiões de fronteira com alta saliência; –Possível classificar as regiões selecionadas através da abordagem neural: Aumento no número de padrões; Pré-processamento mais robusto; Representação através de características invariantes. Reconhecimento de Placas de Sinalização

63 Conclusões –O Trabalho apresentou: Estudo e implementação de uma mecanismo de atenção; Investigação preliminar no uso de Redes Neurais. –Caráter multidisciplinar: Inteligência Artificial, visão Computacional, Atenção Visual, Neurofisiologia etc. –Objetivos alcançados; Módulo de Detecção eficiente: –Demonstrando a utilidade na aplicação do mecanismo de atenção no problema investigado. Reconhecimento de Placas de Sinalização

64 –Objetivos alcançados; Investigação da abordagem neural: –Resultados + características das imagens  possível alcançar taxa melhores de classificação. –Contribuições: Estratégia de microsacadas; Aplicação do mecanismo de atenção na área de DSS; Experimentos com imagens reais de ruas e estradas. Reconhecimento de Placas de Sinalização

65 Dificuldades: –Nível experimental da área de atenção visual; –Limitação dos recursos materiais: Veículos adaptados, câmeras apropriadas, hardwares dedicados, processamento paralelo, computadores de bordo, conservação das rodovias. Trabalhos futuros: –Finalizar a integração dos classificadores binários; –Aquisição de novas imagens; Reconhecimento de Placas de Sinalização

66 Trabalhos futuros: –Implementação do Módulo de Detecção em uma arquitetura dedicada (ex. FPGA); –Aplicar pré-processamento mais completo; –Utilizar uma representação mais compacta das imagens; –Investigar outras arquiteturas neurais para a tarefa de classificação (Kröner, 1996); Reconhecimento de Placas de Sinalização