Comparação de algoritmos de reconhecimento de faces em multidões

Apresentação em tema: "Comparação de algoritmos de reconhecimento de faces em multidões"— Transcrição da apresentação:

1 Comparação de algoritmos de reconhecimento de faces em multidões
Universidade Federal de Minas Gerais Departamento de Ciência da Computação Visão Computacional Comparação de algoritmos de reconhecimento de faces em multidões Anderson Rocha Tavares Eloizio César Drummond Salgado

2 Sumário O problema Motivação Revisão bibliográfica Metodologia
Metodologia Resultados Conclusão

3 O problema Reconhecimento de faces em imagens que possuem diversas faces. Enunciado do problema: Opção 1: Dada uma imagem de uma única face, encontre em uma multidão esta face. Opção 2: Dada a imagem de uma multidão, reconheça as faces presentes no banco de dados da aplicacão.

4 Motivação Identificação de criminosos, terroristas, mafiosos, baderneiros, etc em lugares públicos como Estações de Trem, Aeroportos, Feiras, Estádios. Pode ajudar a prevenir crimes contra a vida em escala catastrófica como o "11/09". Motivação principal: Segurança!

5 É um problema simples? Há dificuldades com: Pose Qualidade da imagem
Oclusão Disfarces Desempenho

6 Revisão Bibliográfica
Detecção de Faces VIOLA, Paul; JONES, Michael Robust Real-Time Face Detection (1ª Versão) Fast Multi-view Face Detection (2ª Versão) Considerado o estado-da-arte em detecção Detecta faces com rotação dentro e fora do plano de imagem Mantém o bom desempenho da primeira versão  0,12 segundos para uma imagem 320x240 em um P4 2.8 GHz

7 Revisão Bibliográfica
Reconhecimento de Face Há muitas técnicas... Características faciais (olhos, nariz, boca) Brunelli, R.; Poggio, T.; Trento, I Povo. Face recognition through geometrical features. 1992 Template Matching Análise da Textura da pele Principal Component Analysis - Eigenfaces  SIROVICH, L.; KIRBY, M.; Low-dimensional Procedure for the characterization of human faces.1987 M. Turk, A. Pentland, Eigenfaces for Recognition (+ citado)¹ ATALAY, Ilker; Face recognition using eigenfaces 1) Face Recognition Homepage - Interesting Papers 2)

8 Revisão Bibliográfica
Reconhecimento de Faces - Imagens Estáticas Há muitas técnicas... Reconhecimento Tridimensional Cartoux, J. Y., J. T. LaPreste, and M. Richetin: 1989, Face authentication or recognition by profile extraction from range images Bronstein, A. M.; Bronstein, M. M., Kimmel, R. Three-dimensional face recognition. 2005 Identificou corretamente 2 gêmeos idênticos (autores)  Queirolo, C. C.; Silva, L.; Bellon, O. R.;Segundo, M. P. 3D Face Recognition using Simulated Annealing and the Surface Interpenetration Measure. 2009 Precisão de identificação maior que 98%.

9 Revisão Bibliográfica
Reconhecimento de Faces em Multidões: Ausência de documentos/artigos específicos sobre o assunto: No entanto, alguns sistemas conhecidos: FaceIt from Visionics Can find human faces anywhere in a field of view. It can track up to 10 faces simultaneously in a live video. It can follow that face as it moves through a crowd while also searching for matches against a database at a rate of 60 million/minute, per central processing unit (CPU). FaceVACS-Alert. Real time face tracking on multiple video streams Real time probe face comparison against "watch list" Real time alarm notification and recordind Biometric Systems, Inc. providing advanced identity solutions to the Casino Industry

10 Metodologia

11 Testes Informações gerais dos testes de reconhecimento: Máquina:
Processador: Intel Core Duo T GHz 2MB L2 Memória: 2.5 GB de RAM Imagens testadas: Total: 120 imagens Formato: .pgm (Portable Graymap) Exemplos:

12 Algoritmos testados - Segmentação
LuxandSDK¹ Detecção de faces frontais: Detecção de múltiplas faces Rotação de 30º no plano e fora dele Tempo de detecção: 0,01 a 0,7 seg Em um Pentium IV 2,4 GHz  1 GB RAM Detecção de características: 40 pontos (olhos, sobrancelhas, boca, nariz e contorno da face) Rotação suportada: 30º no plano, 10º fora Tempo: 0,65 segundos (Pentium IV 2,4 GHZ 1GB RAM) 1) Luxand - Detect Human Faces and Recognize Facial Features -

13 Algoritmos testados - Reconhecimento
Principal Component Analysis (PCA)¹ Forma vetores de características (feature vectors) concatenando valores de pixels da imagem Inicialmente são gerados muitos valores altamente correlacionados PCA chega a um subespaço pequeno sem covariância entre os feature vectors transformados (os componentes principais). A matriz de covariância é sempre diagonal Isso é explorado para alguns classificadores, como L1, MahCosine e Bayesianos, por exemplo. 1 - M. A. Turk and A. P. Pentland. Face Recognition Using Eigenfaces. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 586 – 591, June 1991.

14 Algoritmos testados - Reconhecimento
PCA - Métricas de Classificação Euclideana:  Mahalanobis Distance Imagem é convertida para o espaço de Mahalanobis  A variância da amostra ao longo de cada dimensão é unitária, contra 0 dos feature vectors Transformação é feita pela divisão dos componentes do vetor pelos seus respectivos desvios-padrão. Transformação: MahCosine: (covariância entre as imagens no espaço de Mahalanobis)

15 Algoritmos testados - Reconhecimento
Bayesian Intra/Extra personal Classifier (BIC)¹ Examina o resultado da diferença entre imagens As imagens-diferença são originadas de distribuições Gaussianas dentro do espaço de todas as imagens-diferença O treinamento é feito através de PCA, determinando as propriedades estatísticas de 2 subespaços Imagens-diferença da classe Intrapessoal Imagens-diferença da classe Extrapessoal  Na fase de teste, o classificador recebe uma imagem de classe desconhecida e usa as estimativas das distribuições de probabilidade para identificação.  Na prática: os feature vectors são projetados nos dois conjuntos, e a probabilidade dele pertencer a cada subespaço é calculada. 1 - B. Moghaddam, C. Nastar, and A. Pentland. A bayesian similarity measure for direct image matching. ICPR, B:350–358, 1996.

16 Algoritmos testados - Reconhecimento
BIC - Métricas de Classificação Os feature vectors são projetados nos dois conjuntos, e a probabilidade dele pertencer a cada subespaço é calculada. MAP - Maximum a posteriori Métrica gerada em relação ao conjunto de imagens intra e extrapessoais. ML - Maximum likehood Gerada em relação apenas ao conjunto de imagens intrapessoais.

17 Resultados Segmentação: LuxandSDK Teste de Eficácia Tempo de execução
Reconhecimento: Comparação: BIC x PCA Base da comparação: Matriz de Distância: Segundo menor valor Desempenho:

18 Resultados - LuxandSDK
Tempo de execução: Média = 16,89 s / Desvio Padrão = 0,95

19 Resultados - LuxandSDK
Tempo de execução: Média = 35,41 s / Desvio Padrão = 0,38

20 Resultados - LuxandSDK
Tempo de execução: Média = 14,66 s / Desvio Padrão = 0,02

21 Resultados - LuxandSDK - Resumo

22 Resultados - LuxandSDK - Resumo
Eficácia: Fotos frontais: 100% / Fotos reais: 65,76%  2 Detecções 'duplas' Tempo Médio de detecção por face = 0,69 s  Desvio Padrão = 0,02

23 Resultados - Algoritmo BIC
Primeiro Resultado                                Imagem 0 Imagem 33

24 Resultados - Algoritmo BIC
Segundo Resultado                               Imagem 32  Imagem 0

25 Resultados - Algoritmo BIC
Terceiro Resultado                               Imagem  49 Imagem  48

26 Resultados - Algoritmo BIC
Quarto Resultado                               Imagem  49 Imagem  48

27 Resultados - Algoritmo BIC
Quinto Resultado                               Imagem 118 Imagem 119

28 Resultados - Algoritmo BIC
Sexto Resultado                               Imagem 118 Imagem 119

29 Resultados - Algoritmo PCA
Primeiro Resultado                               Imagem 0 Imagem 22

30 Resultados - Algoritmo PCA
Segundo Resultado                               Imagem 0 Imagem 8

31 Resultados - Algoritmo PCA
Terceiro Resultado                               Imagem  61 Imagem  48

32 Resultados - Algoritmo PCA
Quarto Resultado                               Imagem  48 Imagem  52

33 Resultados - Algoritmo PCA
Quinto Resultado                               Imagem  117 Imagem 119

34 Resultados - Algoritmo PCA
Sexto Resultado                               Imagem 95 Imagem 119

35 Resultados - Algoritmos
Resumo dos Resultados Tempo de Execução:

36 Resultados - Algoritmos
Resumo dos Resultados Número de Acertos (Amostragem de 10%):

37 Resultados - Algoritmos
Resultado geral da aplicação (Users Guide¹). Imagens: Banco de Dados FERET² 1- 2-

38 Conclusão Detecção - LuxandSDK Boa detecção em fotos frontais
Boa detecção em fotos frontais Lida bem com rotação no plano de imagem Dificuldades com rotação para fora do plano Dificuldades com oclusão, faces pequenas, cenas reais Tempo de detecção consistente com o divulgado Mas é alto Uso inviável para aplicações de tempo real

39 Conclusão Reconhecimento - BIC: Pontos positivos:
Bom Reconhecimento = ideal para o propósito! Pontos negativos: Alto tempo de execução e processamento: Para reconhecimento de faces em multidões: muitas faces = muita segmentação e processamento em alguns casos há necessidade de reconhecimento em tempo real. Ruim para reconhecer faces em imagens iguais.  Grande dependência de um banco de dados consistente.

40 Conclusão Reconhecimento - PCA: Pontos Positivos:
Bom para identificar faces de imagens idênticas  Rápida Execução. Pontos Negativos: Não identifica faces em imagens com variações: Requisito básico para identificação de faces em multidões

41 Conclusão Comentários Finais: Abordagem adotada mostrou-se lenta
Tanto na segmentação quanto no reconhecimento Várias melhorias possíveis Eficácia: Mudança do segmentador (Viola-Jones?) Implementação de reconhecedor mais sofisticado Eficiência: Melhor integração com reconhecedor Uso de reconhecedor mais rápido

42 Conclusão Comentários Finais:
Para reconhecimento de faces em multidões é necessário:  Boa segmentação de faces: A qualidade da imagem de entrada é muito importante para o reconhecedor. Banco de dados de qualidade: Imagens com variações de iluminação e resolução, oclusão de partes faciais, etc. Necessidade de rápido reconhecimento. Baixo número de falsos positivos!

43 Dúvidas? ? ? ?

44 FIM Obrigado!