Universidade de Brasília IE – Departamento de Ciência da Computação Reconhecimento Facial Baseado em Eigenfaces e na PCA com Múltiplos Thresholds Por PAULO QUINTILIANO DA SILVA Orientador: Prof. Dr. ANTÔNIO NUNO DE CASTRO SANTA ROSA

Papel do Reconhecimento Facial O relacionamento entre as pessoas está baseado no Reconhecimento Facial 02

Histórico do Reconhecimento Facial Em 1878, Sir Francis Galton escreveu artigo apresentando a sua Composite Portraiture 03

A idéia de comparação de medidas de Galton é utilizada em pesquisas atuais na Ciência da Computação 04

Objetivos deste trabalho Modelo de Reconhecimento Facial, baseado na PCA e nas eigenfaces Projeção da face questionada no espaço de faces O Reconhecimento Facial é determinado pela mínima distância euclideana dentro do threshold de uma classe 05

BIOMETRIA 06

Princípio do Threshold O corpo é a própria chave Aplicações Biometria Definição Histórico Princípio do Threshold O corpo é a própria chave Aplicações Qual sistema de biometria é o melhor? 07

Reconhec. Facial na Psicologia Níveis do reconhecimento da face: Reconhecimento em nível de entrada; e Reconhecimento do em nível subordinado O cérebro tem regiões específicas para o Reconhecimento Facial 08

Etapas do Reconhecimento Facial Representação Facial Template-based Feature-based Appearance-based Detecção Facial Reconhecimento Facial 09

Fatores que interferem no desempenho do RF Expressões Faciais Iluminação inadequada Disfarces Escala Posição da Face 10

Iluminação inadequada Expressões Faciais Iluminação inadequada 11

Disfarces Escala 12

Posição da Face 13

Técnicas Utilizadas no RFA Uso das Características Geométricas da Face Uso de templates Redes Neurais Artificiais Hidden Markov Models Eigenfaces 14

Banco de Dados de Faces utilizado para avaliação   Banco de Dados de Faces utilizado para avaliação The Yale Face DataBase 15 classes 11 imagens p/classe: centerlight, withglasses, happy, leftlight, noglasses, normal, rightlight, sad, sleepy, surprised e wink 15

Banco de Dados de Faces 16

Modelo Proposto para o Reconhe- cimento Facial Automático Baseia-se na PCA e nas eigenfaces, autovalores e autovetores. projeção da face questionada no espaço das eigenfaces. Encontra a distância euclideana mínima dentro do threshold de uma classe 17

Linguagem Matlab, versão 5.0 10 mil linhas de fonte Implementação Linguagem Matlab, versão 5.0 10 mil linhas de fonte Todas as imagens são submetidas aos algoritmos Compaq Presario 5170, PII-350 MHz, 128 MB RAM 30 minutos para a execução 18

Detecção Facial utilizada Grande intervenção Manual 19

Autovalores e Autovetores Autovalores  de W Autovetores de W Para 20

As M imagens de faces são convertidas em vetores coluna Calcula-se a Face Média 21

Face Média 22

23

Novo conjunto de imagens, Novo conjunto de imagens, “O Espaço ”, obtido da diferença entre as imagens originais e a face média. 24

Montagem da matriz A 1 2 3 4 M 25

Montagem da matriz C 1 2 3 4 26

Montagem da matriz L 1 2 3 4 M 27

Autovetores da matriz L Montagem da matriz V Autovetores da matriz L 28

Autovetores da matriz C Montagem da matriz U Autovetores da matriz C 29

Cálculo dos Autovetores de C 30

Cálculo dos Autovetores de C     31

Cálculo dos Autovetores de C Sejam e Será mostrado que é verdadeira. 32

Cálculo dos Autovetores de C Colocando-se em evidência os escalares d, teremos: Logo: 33

Treinamento do modelo de RF Imagens usadas: withglasses, happy, noglasses e sleepy. 34

Representação das faces a partir das eigenfaces 2, 5, 10, 20, 30 e 50 maiores autovalores.       Autovalores de 2, de 5, de 10, de 20, de 30 e de 50 até 128. 35

Reconhecimento de faces a partir das eigenfaces Cálculo da distância euclideana 36

Cálculos dos thresholds Foram usados fatores k de 1 a 10 Uso dos autovetores com os maiores autovalores Corte hard. Usando-se apenas os 5, 10, 20, 30 e 50 maiores autovalores 37

Tabela dos thresholds Ob.: Valores divididos por 1.0e+015 38

Uso das 120 imagens bem iluminadas Resultados Obtidos Uso das 120 imagens bem iluminadas N. Auto-vetores Erros Acertos 1º lugar 1º e 2º 1º 2º 3º 05 23,22% 49,17% 64,17% 76,67% 10 11,67% 63,33% 77,50% 88,33% 20 6,67% 81,67% 89,17% 93,33% 30 3,33% 87,50% 92,50% 96,67% 50 1,67% 94,17% 98,33% 39

Resultados Obtidos Uso de todas as 165 imagens N. Auto-vetores Erros Acertos 1º lugar 1º e 2º 1º 2º 3º 05 46,67% 33,33% 44,85% 53,33% 10 35,15% 43,64% 57,58% 64,85% 20 25,45% 64,24% 71,52% 74,55% 30 20,61% 68,48% 76,36% 79,39% 50 16,36% 72,12% 76,97% 83,64%   40

Técnicas de Simetrização Melhora as condições de iluminação e a performance do algoritmo Pode também ser usado em: Imagens de faces semi-oclusas Imagens de faces em perfil 41

Técnicas de Simetrização Simples (>=2/3) Média com a inversa (< 2/3) 42

Resultados da aplicação da Simetrização Ob.: Valores divididos por 1.0e+015 43

Uso das 45 imagens com problemas de iluminação Resultados Obtidos Uso das 45 imagens com problemas de iluminação Simetri- zação Erros 1º Lugar 1º e 2º 1º 2º 3º Sem 57,77% 24,44% 31,11% 42,22% Com 40,00% 46,66% 60,00% 44

Expansão das Eigenfaces em Eigenmouth e Eigennose 45

Expansão das Eigenfaces em Eigenmouth e Eigennose 46

Expansão das Eigenfaces em Eigeneyes (um olho) 47

Expansão das Eigenfaces em Eigeneyes (dois olhos) 48

Eigenmouth e eigennose (120 imagens) Resultados Obtidos Eigenmouth e eigennose (120 imagens) 85,00% 80,83% 69,17% 15,00% 50 86,67% 80,00% 66,67% 13,33% 30 85,83% 83,33% 65,00% 14,16% 20 62,50% 10 82,50% 75,00% 50,00% 17,50% 05 Acertos 1º 2º 3º 1º e 2º 1º lugar Erros N. Auto-vetores 49

Eigeneye esquerdo (120 imagens) Resultados Obtidos Eigeneye esquerdo (120 imagens) 87,50% 86,66% 80,83% 15,00% 50 84,17% 80,00% 74,17% 13,33% 30 83,33% 77,50% 66,66% 14,16% 20 68,33% 50,83% 10 77,33% 59,16% 35,00% 17,50% 05 Acertos 1º 2º 3º 1º e 2º 1º lugar Erros N. Auto-vetores 50

Simetrização e Eigenfeatures Conclusão O modelo é robusto no tratamento de imagens de faces bem iluminadas e com expressões faciais diversas Dispensa considerações da geometria da face e distância entre os órgãos faciais É sensível no tratamento de imagens obtidas em condições não controladas Simetrização e Eigenfeatures 51

Publicações em Congressos e Periódicos Internacionais “Pratical Procedures to Improve Face Recognition Based on Eigenfaces and Principal Component Analysis” (5 páginas) - Proceedings of 5th PRIA - Rússia, 2000 “Face Recognition Based on Eigenfaces and Symmetryzation” (17 páginas) - Periódico internacional PATTERN RECOGNITION AND IMAGE ANALYSIS - Rússia, 2001 52

Apresentação de Artigos em Congressos Internacionais “Face Recognition Based on Eigenfaces with Multiple Thresholds” (8 páginas) - SPIE, San Jose/EUA, janeiro/2001 “Face Recognition Based on Eigeneyes, Eigennose, Eigenmouth and Eigenfaces” (9 páginas) - EVOIASP2001, Milan/Itália, abril/2001 53

Apresentação de Artigos em Congressos Internacionais “Face Recognition Working with Half-Occluded Face Images Based on Eigenmouth, Eigennose and Eigeneyes with Multiple Thresholds” - Boston/EUA, outubro/2001 54