A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Fala e Movimentação Facial em Avatares Alexandre Magno Maciel Ricardo de Oliveira Schmidt

Apresentações semelhantes


Apresentação em tema: "Fala e Movimentação Facial em Avatares Alexandre Magno Maciel Ricardo de Oliveira Schmidt"— Transcrição da apresentação:

1 Fala e Movimentação Facial em Avatares Alexandre Magno Maciel Ricardo de Oliveira Schmidt

2 Alexandre Maciel e Ricardo Schmidt Módulo Text-To-Speech

3 Alexandre Maciel e Ricardo Schmidt Síntese de voz Definição: “Geração automática pelo computador de formas de onda de voz” [TAH05] Outras denominações: Sistema de resposta vocal ou Text-To-Speech (TTS) Dilema: Produção X Reprodução

4 Alexandre Maciel e Ricardo Schmidt Síntese de voz Processo de síntese de voz: Pré-processamento Conversão ortográfico-fonética Processamento prosódico Síntese Texto Sinal de voz Baixo nívelAlto nível

5 Alexandre Maciel e Ricardo Schmidt Síntese de voz Processo de síntese de voz: –Normalização: encontrar equivalentes “por extenso” ex: símbolos ($ %), datas, pontuação (,.) Pré-processamento Conversão ortográfico-fonética Processamento prosódico Síntese Texto Sinal de voz

6 Alexandre Maciel e Ricardo Schmidt Síntese de voz Processo de síntese de voz: –Conversão ortográfico-fonética: encontrar seqüência correta de fonemas ex: letra “x” -> xumbo, exame, tórax “o piloto morreu”; “eu piloto bem” Pré-processamento Conversão ortográfico-fonética Processamento prosódico Síntese Texto Sinal de voz

7 Alexandre Maciel e Ricardo Schmidt Síntese de voz Processo de síntese de voz: –Cálculo de intensidade e duração ex: pausas entre palavras, entonação (sentenças declarativas, imperativas e interrogativas) Pré-processamento Conversão ortográfico-fonética Processamento prosódico Síntese Texto Sinal de voz

8 Alexandre Maciel e Ricardo Schmidt Síntese de voz Processo de síntese de voz: –Geração do áudio –Estratégias: concatenativa formantes articulatória Pré-processamento Conversão ortográfico-fonética Processamento prosódico Síntese Texto Sinal de voz

9 Alexandre Maciel e Ricardo Schmidt Síntese de voz Geração do áudio: –Síntese concatenativa : segmentos de áudio pré-gravadas a partir de um inventário de unidades previamente construído. –Tamanho das unidades: Palavras Silabas (Demissílabas) Fones (Difones)

10 Alexandre Maciel e Ricardo Schmidt Síntese de voz Geração do áudio: –Síntese de formantes: modelo acústico que forma o áudio de acordo com uma série de parâmetros –Síntese articulatória: gera o sinal de voz através da modelação das características físicas, anatômicas e fisiológicas do aparelho humano produtor de voz

11 Alexandre Maciel e Ricardo Schmidt Síntese de voz Trabalhos realizados: –Simões, 1999 (dissertação - UNICAMP) Dicionário de 2450 unidades Síntese concatenativa Voz masculina

12 Alexandre Maciel e Ricardo Schmidt Síntese de voz Trabalhos realizados: –Carvalho, 2005 (INESC) DIXI Síntese concatenativa Dicionário de 4000 unidades Vozes masculina e feminina

13 Alexandre Maciel e Ricardo Schmidt Síntese de voz Trabalhos realizados: –DOSVOX (UFRJ) Auxílio deficientes físicos Software livre

14 Alexandre Maciel e Ricardo Schmidt Síntese de voz Trabalhos realizados: –MATRACA (UFCG) Auxílio deficientes físicos Software livre

15 Alexandre Maciel e Ricardo Schmidt Síntese de voz Aplicações Comerciais –IBM ViaVoice 8.0 –NUANCE Dragon Systems –Jaws for Windows

16 Alexandre Maciel e Ricardo Schmidt Módulo Extração de Fonemas

17 Alexandre Maciel e Ricardo Schmidt Processo de reconhecimento de padrões Extração de Fonemas [FEC02]

18 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Extração de Parâmetros: –Dar representatividade –Compactar (redução dimensionalidade) –Simplicidade computacional Principais Parâmetros: –Energia por segmento; –Taxa cruzamento por zero; –Número total e diferença entre picos; –Coeficiente de Correlação Normalizado. [FEC02]

19 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Extração de Parâmetros –Pré-Processamento: Pré-ênfase (filter) Segmentação (frames) Janelamento (stationary) Palavra “zero”após pré-ênfase SegmentoJanelamento [FEC02]

20 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Extração de Parâmetros: –Principais técnicas: [DIM06] Mel Frequency Cepstral Coding (MFCC) Linear Predictive Coding (LPC) Perceptual Linear Predictive (PLP) –Experimentos: Comparador: HMM Base de dados: –11 locutores(7 MS,4 WS); –Treino: 3300 locuções; –Teste: 880 locuções; –Frases: 300

21 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Comparação dos Padrões: –Determinísticas: Dynamic Time Warping; Quantização Vetorial; Redes Neurais. –Estatísticas Função Densidade Probabilidade; Modelos de Markov Escondidos.

22 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Trabalhos Realizados –Fechine, 2002 (UFCG) Reconhecimento de Locutor Independente do Texto Base própria, 20 locutores 20 sentenças por locutor Parâmetros LPC (12) Híbrido (QV + HMM)

23 Alexandre Maciel e Ricardo Schmidt Extração de Fonemas Trabalhos Realizados –Rustein, 1998 (UNICAMP) Reconhecimento de fala Independente de Locutor Base própria, 30 locutores 10 sentenças por locutor Parâmetros diversos Redes Neurais Backpropagation Kohonen Quantização Vetorial

24 Alexandre Maciel e Ricardo Schmidt Interpretação de Visemas

25 Alexandre Maciel e Ricardo Schmidt Interpretação de Visemas Associação entre fonemas/vogais e seus respectivos visemas Parâmetros emocionais Energia Parâmetros de animação

26 Alexandre Maciel e Ricardo Schmidt Etapa de Animação

27 Alexandre Maciel e Ricardo Schmidt Etapa de Animação Construção da animação Síntese de video ou técnicas de keyframing Parâmetros ao modelo da face associados ao áudio

28 Alexandre Maciel e Ricardo Schmidt Aminação Facial Parametrização ideal para os sistemas de animação facial Satisfazer todos os requisitos para um sistema de animação facial não é fácil

29 Alexandre Maciel e Ricardo Schmidt Aminação Facial Facilidade de uso –Número de parâmetros, complexidade e intuitividade –Maior a flexibilidade, maior a complexidade Sutileza –Movimentos suaves

30 Alexandre Maciel e Ricardo Schmidt Aminação Facial Abstração de alto-nível –Controlar a face com alto-nível de abstração –Textos com marcações Previsibilidade –O resultado da combinação de parâmetros deve ser previsível

31 Alexandre Maciel e Ricardo Schmidt Aminação Facial Portabilidade –Troca fácil de modelos faciais –Reuso de conjuntos de parâmetros Medição dos parâmetros –Descritos em unidades físicas que possam ser visualmente medidas na face Eficiência –Comunicação através da rede

32 Alexandre Maciel e Ricardo Schmidt Trabalhos 1.Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2.InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3.Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4.Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala

33 Alexandre Maciel e Ricardo Schmidt Trabalhos 1.Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2.InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3.Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4.Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala

34 Alexandre Maciel e Ricardo Schmidt Animação Parâmetros pré-calculados –Qualquer modelo possa ser animado –Usados pelo algoritmo de deformação –Definidos offline (antes da execução em tempo real) –Captura de pontos através de ferramentas Feature Points Vértices vizinhos (pesos)

35 Alexandre Maciel e Ricardo Schmidt Animação

36 Alexandre Maciel e Ricardo Schmidt Animação

37 Alexandre Maciel e Ricardo Schmidt Animação Busca pelas respectivas FAPs –Facial Animation Parameters –Por exemplo: Instrução para abrir a boca

38 Alexandre Maciel e Ricardo Schmidt Animação Algoritmo de deformação –Integração dos elementos do processo

39 Alexandre Maciel e Ricardo Schmidt Animação

40 Alexandre Maciel e Ricardo Schmidt Animação Offline

41 Alexandre Maciel e Ricardo Schmidt Animação Módulos da Análise fonética

42 Alexandre Maciel e Ricardo Schmidt Animação

43 Alexandre Maciel e Ricardo Schmidt Animação Padrão MPEG-4

44 Alexandre Maciel e Ricardo Schmidt Trabalhos 1.Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2.InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3.Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4.Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala

45 Alexandre Maciel e Ricardo Schmidt InterFace Java e Virtual Reality Modeling Language Sistema interativo para criação de diferentes expressões faciais Animação entre as expressões –Técnicas de composição digital de imagens

46 Alexandre Maciel e Ricardo Schmidt InterFace Dividido em 2 módulos: –Criação de Expressões Suporte para a criação das ações –Animação Facial Simulação do ator virtual através das 3 camadas

47 Alexandre Maciel e Ricardo Schmidt InterFace O que éEntradaSaída ExpressõesBiblioteca básica ou modeladas Qual expressão e intensidade Modificação do rosto virtual AçõesAções definidas (olhos, lábios, etc) Quais ações executar Expressões e intensidades à camada de expressões InteligênciaQuais ações realizar Usuário, roteiro, I.A., síntese de voz Quais ações realizar à camada de ações

48 Alexandre Maciel e Ricardo Schmidt InterFace Cada expressão criada individualmente –Objetos que compõe o rosto Expressão neutra Biblioteca básica de expressões

49 Alexandre Maciel e Ricardo Schmidt InterFace Biblioteca básica de expressões –Conjunto de expressões simples –Nem muitas, nem poucas –Combinadas para criar expressões complexas Vetor de diferenças Valores de intensidade

50 Alexandre Maciel e Ricardo Schmidt InterFace AhhOhhesquerdadireita Dúvida XYZ Rotação

51 Alexandre Maciel e Ricardo Schmidt InterFace Expressões básicas Expressões combinadas

52 Alexandre Maciel e Ricardo Schmidt InterFace Ações –Piscar, falar um fonema, cantar, chorar, dormir, espirrar,... –Construídas através das expressões Valores de intensidade –Grupos de ações Duas ações de um mesmo grupo podem ser executadas ao mesmo tempo

53 Alexandre Maciel e Ricardo Schmidt InterFace Exemplos de grupos de ações –Não intencionais Respirar ou piscar os olhos –Emoções Chorar, sorrir ou dormir –Sincronismo de movimentos labiais

54 Alexandre Maciel e Ricardo Schmidt Trabalhos 1.Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2.InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3.Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4.Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala

55 Alexandre Maciel e Ricardo Schmidt Objetivos Definição de representações para os padrões visuais de movimentação articulatória –Ou seja, visemas Visemas dependentes do contexto fonético Modelos para movimentação temporomandibular e do tecido dos lábios –Elevação, depressão, protrusão e retração –Deformações

56 Alexandre Maciel e Ricardo Schmidt Movimentação Facial Idéia de pontos de interesse e referência Gerados através da captura de video

57 Alexandre Maciel e Ricardo Schmidt Movimentação Facial Articulação temporomandibular

58 Alexandre Maciel e Ricardo Schmidt Movimentação Facial

59 Alexandre Maciel e Ricardo Schmidt Trabalhos 1.Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis 2.InterFace: Um Sistema de Animação Interativa de Rostos Humanos 3.Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil 4.Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala

60 Alexandre Maciel e Ricardo Schmidt Objetivos Sistema para geração de expressões faciais dinâmicas –Variações ao longo do tempo –Ligadas à emoções, fala e fenômenos afetivos –Sincronismo com fala –Face tridimensional realista

61 Alexandre Maciel e Ricardo Schmidt Sistema VeeM (Virtual emotion-to-expression Model) –Modelo de emoção para personagens virtuais falantes –Conceito de hipercubo emocional no espaço canônico do R 4 Combinação de expressões básicas para gerar emoções derivadas

62 Alexandre Maciel e Ricardo Schmidt Sistema DynaFeX (Dynamic Facial eXpression) –Para validação do VeeM –Autoria e apresentação de animações faciais –Processo de fala para sincronismo entre fonemas e visemas –Malha poligonal tridimensional (baseada no modelo de animação MPEG-4)

63 Alexandre Maciel e Ricardo Schmidt Familias de emoção Robert Plutchik

64 Alexandre Maciel e Ricardo Schmidt VeeM Alegria-Tristeza combinada com Medo-Raiva

65 Alexandre Maciel e Ricardo Schmidt VeeM Alegria-Tristeza combinada com Confiança- Abominação

66 Alexandre Maciel e Ricardo Schmidt VeeM e Parametrização Ideal VeeM em relação à parametrização ideal –Combinação de emoções –Emoções mapeadas em uma expressão única –Manipulação do hipercubo emocional é fácil e direta –Representação da expressão pode ser mapeada para uma descrição de alto-nível –VeeM é independente de face

67 Alexandre Maciel e Ricardo Schmidt MPEG-4 MPEG-4 para especificação de uma face –Definição de parâmetros (face neutra) Olhar na direção do eixo z Músculos da face relaxados Pálpebras tangentes à íris Pupila medindo um terço do diâmetro da íris Lábios em contato (com linha na altura dos cantos) Boca fechada com dentes se tocando Língua plana na horizontal com ponta tocando o limite dos dentes

68 Alexandre Maciel e Ricardo Schmidt MPEG-4 A partir de Feature Points (pontos chaves) –Parâmetros de Animação Facial (FAPs) Animação de pontos chaves característicos Representação de visemas e emoções

69 Alexandre Maciel e Ricardo Schmidt MPEG-4 Visemas e Lip-Sync no MPEG-4 –Transição de um visema para outro é através da combinação (blending) com um peso associado a cada um deles –Variação da intensidade de 0 a 63 Visema final = visema1 x (blend/63) + visema2 x (blend/63)

70 Alexandre Maciel e Ricardo Schmidt MPEG-4 Combinação de visemas –Cuidando as propriedades das FPs

71 Alexandre Maciel e Ricardo Schmidt DynaFeX

72 Alexandre Maciel e Ricardo Schmidt Referências 1.TATHAM, M., “Developments in Speech Systems” Editora Wiley, SIMÕES, F.O., “Implementação de um Sistema de Conversão Texto-Fala para o Português do Brasil”. Dissertação de Mestrado, UNICAMP, DIMITRU, C.O., et al. “A Comparative Study of Feature Extraction Methods Applied to Continuous Speech Recognition in Romanian Language”. ELMAR, 2006.

73 Alexandre Maciel e Ricardo Schmidt Referências 4.FECHINE, J.M. “Reconhecimento Automático de Identidade Vocal Utilizando Modelagem Híbrida: Paramétrica e Estatística”, UFCG, RUSTEIN, F.O. “Sistema de Reconhecimento de Fala Baseado em Redes Neurais Artificiais” Tese de doutorado,UNICAMP, FIUZA, M.; Monteiro, M.; Dourato, C.; Soares, J.; Barroso, G. “Um sistema para Síntese de Voz e Animação de Faces Virtuais Voltado para Dispositivos Móveis,” III CONNEPI, 2008.

74 Alexandre Maciel e Ricardo Schmidt Referências 7.WEY, J. “InterFace: Um Sistema de Animação Interativa de Rostos Humanos,” Dissertação de mestrado, Escola Politécnica, USP, MARTINO, J. de. “Animação Facial Sincronizada com a Fala: Visemas Dependentes do Contexto Fonético para o Português do Brasil,” Tese de doutorado, DCA/FEEC UNICAMP, RODRIGUES, P. “Um Sistema de Geração de Expressões Faciais Dinâmicas em Animações Faciais 3D com Processamento de Fala,” Tese de doutorado, Departamento de Informática, PUC-RJ, 2007.

75 Fala e Movimentação Facial em Avatares Alexandre Magno Maciel Ricardo de Oliveira Schmidt


Carregar ppt "Fala e Movimentação Facial em Avatares Alexandre Magno Maciel Ricardo de Oliveira Schmidt"

Apresentações semelhantes


Anúncios Google