Reconhecimento de Expressões Faciais em Imagens

Apresentação em tema: "Reconhecimento de Expressões Faciais em Imagens"— Transcrição da apresentação:

1 Reconhecimento de Expressões Faciais em Imagens
PPGCC – Universidade Federal de Minas Gerais Reconhecimento de Expressões Faciais em Imagens Elizabeth Duane Santos da Costa Visão Computacional – 1º/2010 ‘ 17 de Junho de 2010

2 Introdução Classificação de Expressões Faciais
Interação humano-computador Estudos na área psicologia, medicina Interesses comerciais Características Desejáveis Rápido Simples Precisão invariante aos ambientes

3 Introdução Dificuldades: Pouca expressividade e Similaridade

4 Introdução Dificuldades
Classificação é confusa até entre os seres humanos

5 Introdução 6 Expressões básicas e Face Neutra Neutro Alegria Desgosto
Medo Raiva Surpresa Tristeza

6 Introdução Características Locais Características Globais
Pontos de interesse Detecção de olhos, boca, sobrancelha Posição e relação entre distâncias do rosto Métodos mais complexo Características Globais Face inteira Filtros e outras técnicas para representar a face e normalmente tem uma fase de aprendizado Possíveis Técnicas Aprendizado Template Matching

7 Problema Classificar uma determinada imagem de acordo com as classes de expressões definidas

8 Trabalhos Relacionados
Sorci, M., Antonini, G., Cruz, J., Robin, T., Bierlaire, M., & Thiran, J. P. Modelling human perception of static facial expressions. Image and Vision Computing, Lee B., Chun J., Park P. Classification of Facial Expression Using SVM for Emotion Care Service System, ACIS International Conference on, pp. 8-12, 2008 Ninth ACIS International Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing, 2008 M. Turk and A. Pentland, Eigenfaces for Recognition, Journal of Cognitive Neuroscience,vol. 3, no. 1, pp , 1991

9 Solução SVM (Support Vector Machine) Aprendizagem Supervisionada
Matriz de treinamento onde cada coluna representa uma característica e cada linha uma instância de treinamento Vetor de resposta que classifica cada linha em uma determinada classe Uma forma de regressão para ajustar os dados de treinamento de acordo com a classe do vetor de resposta

10 Eigenface Autovetores de um conjunto de imagens de face
Imagens normalizadas pela diferença da média Autovetores são derivados da matriz de co- variância das imagens normalizadas Os autovetores mais representativos (de maior auto valor) são usados para a tarefa em questão.

11 Eigenface

12 Metodologia Pré - Processamento: SVM Eigenface
Detecção da Face: HaarCascade (OpenCv) Ajuste da Dimensão e Filtro Gaussiano SVM Treinamento do SVM Para cada expressão Classificação para cada grupo treinado Eigenface Cálculo dos Eigenfaces Cálculo de Similaridade - Distância Euclidiana

13 Metodologia Pré - Processamento: Detecção da Face
Ajuste da Dimensão e Filtro Gaussiano SVM: 50 x 50 256 x 256 Eingenface: 100 x 100

14 Metodologia SVM Vetorização das imagens e montagem da matriz de treinamento Treinamento por expressão Expressão treinada (1) X todas outras expressões(0) 7 treinamentos Classificação Imagem de teste é comparada para cada um dos SVM treinados e verifica-se em qual expressão foi classificada;

15 Metodologia Eigenfaces Vetorização das imagens de treinamento;
Redução da dimensão com PCA; Componentes principais (autovetor com maior autovalor); Projeção das imagens de treinamento e teste (representação em termos de componentes principais); Distância euclidiana entre a projeção das imagens de teste e das imagens de treino; Menor distância é escolhida; A imagem de teste estará no mesmo grupo da imagem de treino que obteve menor distância

16 Experimentos Banco de Dados – JAFFE (Japanese Female Facial Expressions) 213 imagens de 7 expressões faciais (6 expressões básicas + normal) referentes a 10 modelos japonesas.

17 Resultados Imagens para o experimento SVM Razões
143 imagens para Treinamento 69 imagens para Teste SVM Não Reconheceu Tristeza e Surpresa Taxa de Acerto Geral: 11% Dupla classificação: 26% Razões Entrada dos dados? Falta de extração de características? Metodologia de treinamento ineficiente?

18 Resultados Eigenface Taxa de Acerto Geral: 72% Expressão
Alegria 40% Desgosto 80% Medo 90% Neutro 70% Raiva Surpreso Tristeza 60%

19 Conclusão SVM Eigenface
Não obteve bons resultados para o experimento proposto Eigenface Rápido Simples Taxa de classificação aceitável

20 Trabalhos Futuros SVM com Eigenface Outros métodos de Aprendizagem
Banco de Dados Variação da Face Sequência de Imagens Aprendizado Online – Novas Faces e Expressões Características Globais e Locais

21 Perguntas e Comentários

22 Referências Bibliográficas
Rosário, S.V.P.G., Facial Emoticons:Reprodução de Informação associada a expressões faciais por via do seu reconhecimento. Dissertação. Mestre em Engenharia Informática e de Computadores. Instituto Superior Técnico. Universidade Técnica de Lisboa, 2008. B. Fasel, J. Luettin, Automatic facial expression analysis: a survey, Pattern Recognition 36 (2003) R. Gottumukkal and V.K. Asari, An improved face recognition technique based on modular PCA approach, Pattern Recogn. Lett. 25 (2004) M. Pantic and L.J.M. Rothkrantz. Expert system for automatic analysis of facial expression. In Image and vision computing J., volume 18, pages 881–905, 2000.