A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA.

Apresentações semelhantes


Apresentação em tema: "MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA."— Transcrição da apresentação:

1 MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA

2 INTRODUÇÃO

3 MOTIVAÇÃO As aplicações estão querendo cada vez mais retirar mais informações dos usuários Movimentos corporais Bio feedback Emoções O reconhecimento de emoções é um processo complexo

4 TAREFA Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens Neutro ?

5 PROPOSTA Inicial Atual Neutro Nervoso (3 emoções) (7 emoções)

6 TRABALHOS RELACIONADOS AutorMétodo MLEmoçõesDatasetResultado Huang[10]Neural Network Back Propagation 7JAFFE78,24% Kwang[14]PCA + Cluster 6-68,5% Gang[18]SVM6JAFFE68,5% PropostoSVM7RaFD84,37%

7 DATASET O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 / ~10) JAFFE é um dataset de imagens de mulheres japonesas (pouca generalização) Um programa automaticamente analisa as imagens e extrai os pontos faciais Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento

8 VETOR DE ATRIBUTOS A análise foi feita em cima de 2 imagens Neutra Expressão A imagem neutra é conhecida à priori O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens

9 FACE NEUTRA – FACE EXPRESSIVA

10 VETOR DE ATRIBUTOS Os pontos pré-definidos foram Cantos das sobrancelhas direitas e esquerdas (4 x 2) Cantos da boca (2 x 2) Ponto superior e inferior dos lábios (2 x 2) Altura e largura da boca (2) 18 atributos Exemplo 1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7

11 MÉTODO MACHINE LEARNING Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation) Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes

12 RESULTADOS Resultados iniciais estavam na faixa de 67% Cross validation dos atributos finais trouxe resultado final de 84,37% Um programa foi desenvolvido com o modelo proposto

13 PROGRAMA - CALIBRAGEM

14 PROGRAMA – RECONHECIMENTO DE EMOÇÃO

15 CONCLUSÕES Resultado satisfatório Ainda não é uma atividade bem definida, difícil encontrar o estado-da-arte, dataset, comparações Dataset foi criado automaticamente, não existe nenhuma anotação de atributos dourada (poderia melhorar) Dificuldade em encontrar a face neutra Teoria != prática Algumas classes se confundem mais com as outras enquantos algumas se separam mais facilmente

16 TRABALHOS FUTUROS Melhorar ainda mais os atributos escolhidos Buscar um método de definição da face neutra Buscar emoções intermediárias (menos exageradas) Transportar para o modelo HMM e perceptron estruturado e verificar os resultados

17 BIBLIOGRAFIA [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988; [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010 [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion

18 DÚVIDAS ?


Carregar ppt "MACHINE LEARNING D.I. PUC RIO GUILHERME CARVALHO CUNHA CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA."

Apresentações semelhantes


Anúncios Google