Classificador de emoções faciais baseado em face neutra

Apresentação em tema: "Classificador de emoções faciais baseado em face neutra"— Transcrição da apresentação:

1 Classificador de emoções faciais baseado em face neutra
Machine Learning D.I. PUC Rio Guilherme Carvalho Cunha

2 Introdução

3 Motivação As aplicações estão querendo cada vez mais retirar mais informações dos usuários Movimentos corporais Bio feedback Emoções O reconhecimento de emoções é um processo complexo

4 Tarefa Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens Neutro ?

5 Proposta Inicial Atual Neutro Nervoso (3 emoções) (7 emoções)

6 Trabalhos relacionados
Autor Método ML Emoções Dataset Resultado Huang[10] Neural Network Back Propagation 7 JAFFE 78,24% Kwang[14] PCA + Cluster 6 - 68,5% Gang[18] SVM Proposto RaFD 84,37%

7 Dataset O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 / ~10) JAFFE é um dataset de imagens de mulheres japonesas (pouca generalização) Um programa automaticamente analisa as imagens e extrai os pontos faciais Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento

8 Vetor de atributos A análise foi feita em cima de 2 imagens
Neutra Expressão A imagem neutra é conhecida à priori O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens

9 Face neutra – face expressiva

10 Vetor de atributos Os pontos pré-definidos foram 18 atributos Exemplo
Cantos das sobrancelhas direitas e esquerdas (4 x 2) Cantos da boca (2 x 2) Ponto superior e inferior dos lábios (2 x 2) Altura e largura da boca (2) 18 atributos Exemplo 1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7

11 Método machine learning
Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation) Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes

12 Resultados Resultados iniciais estavam na faixa de 67%
Cross validation dos atributos finais trouxe resultado final de 84,37% Um programa foi desenvolvido com o modelo proposto

13 Programa - calibragem

14 Programa – reconhecimento de emoção

15 Conclusões Resultado satisfatório
Ainda não é uma atividade bem definida, difícil encontrar o estado-da-arte, dataset, comparações Dataset foi criado automaticamente, não existe nenhuma anotação de atributos dourada (poderia melhorar) Dificuldade em encontrar a face neutra Teoria != prática Algumas classes se confundem mais com as outras enquantos algumas se separam mais facilmente

16 Trabalhos futuros Melhorar ainda mais os atributos escolhidos
Buscar um método de definição da face neutra Buscar emoções intermediárias (menos exageradas) Transportar para o modelo HMM e perceptron estruturado e verificar os resultados

17 Bibliografia [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988; [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010 [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion

18 Dúvidas ?