Classificador de emoções faciais baseado em face neutra Machine Learning D.I. PUC Rio Guilherme Carvalho Cunha

Introdução http://www.ynner.com.br/blog/wp-content/uploads/2011/05/Emocoes.jpg

Motivação As aplicações estão querendo cada vez mais retirar mais informações dos usuários Movimentos corporais Bio feedback Emoções O reconhecimento de emoções é um processo complexo

Tarefa Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens Neutro ?

Proposta Inicial Atual Neutro Nervoso (3 emoções) (7 emoções)

Trabalhos relacionados Autor Método ML Emoções Dataset Resultado Huang[10] Neural Network Back Propagation 7 JAFFE 78,24% Kwang[14] PCA + Cluster 6 - 68,5% Gang[18] SVM Proposto RaFD 84,37%

Dataset O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 / ~10) JAFFE é um dataset de imagens de mulheres japonesas (pouca generalização) Um programa automaticamente analisa as imagens e extrai os pontos faciais Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento

Vetor de atributos A análise foi feita em cima de 2 imagens Neutra Expressão A imagem neutra é conhecida à priori O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens

Face neutra – face expressiva

Vetor de atributos Os pontos pré-definidos foram 18 atributos Exemplo Cantos das sobrancelhas direitas e esquerdas (4 x 2) Cantos da boca (2 x 2) Ponto superior e inferior dos lábios (2 x 2) Altura e largura da boca (2) 18 atributos Exemplo 1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7

Método machine learning Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation) Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes

Resultados Resultados iniciais estavam na faixa de 67% Cross validation dos atributos finais trouxe resultado final de 84,37% Um programa foi desenvolvido com o modelo proposto

Programa - calibragem

Programa – reconhecimento de emoção

Conclusões Resultado satisfatório Ainda não é uma atividade bem definida, difícil encontrar o estado-da-arte, dataset, comparações Dataset foi criado automaticamente, não existe nenhuma anotação de atributos dourada (poderia melhorar) Dificuldade em encontrar a face neutra Teoria != prática Algumas classes se confundem mais com as outras enquantos algumas se separam mais facilmente

Trabalhos futuros Melhorar ainda mais os atributos escolhidos Buscar um método de definição da face neutra Buscar emoções intermediárias (menos exageradas) Transportar para o modelo HMM e perceptron estruturado e verificar os resultados

Bibliografia [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp.266-275. [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988; [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010 [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion

Dúvidas ?