Uso de Ontologias em Ambientes e Humanos Virtuais Daniel Camozzato Fernando Marson Rossana B. Queiroz

Sumário Introdução Ambientes Virtuais Humanos Virtuais Animação Comportamental Considerações Finais

Conceito Ontos = Existência / Logos = Conhecimento Ontologia = Área da metafísica que lida com a natureza da existência. “Estudo do que existe”.

Conceito - Especificação Modelagem sistemática do que existe. Uma especificação formal de como representar objetos, conceitos e relacionamentos que existem em um domínio. “Uma especificação de uma conceitualização”.

Conceito – Compreensão Compartilhada “Uma compreensão compartilhada a respeito de um domínio”. Ontologia é um método para organizar o conhecimento: Acrescentando significado a dados Torna o conhecimento compreensível tanto para humanos como para computadores

Com o que uma ontologia se parece? Depende!

Com o que uma ontologia se parece? Ontolingua, KIF, Frame Ontology, OKBC, OCML, Flogic, LOOM, SHOE, RDF, RDFS, XOL, OIL, DAML, OWL… Formalidade – Informal, semi-informal, semi- formal, formal Tipo de conhecimento – genérico, domínio, aplicação, meta-ontologia

Aplicações na Ciência da Computação Inter-operabilidade entre sistemas Gerenciamento de conhecimento (information retrieval, document management, knowledge base systems) Processamento de linguagem natural (análise semântica, estrutura léxica) Web semântica (representação dos dados na web)

Aplicação em Computação Gráfica É útil para aplicações de Computação Gráfica Semântica associada à representação gráfica, visual Compartilhamento de recursos Muitos formatos, representando o mesmo domínio de conhecimento Representação do mundo virtual Especificação e relação entre seus diversos componentes Modelagem de comportamentos

Ambientes Virtuais São abstrações do ambiente real. São cenários que permitem a interação entre usuários, humanos e objetos virtuais. Aplicações Aprendizagem (Moodle, Teleduc) Simulação (Controle de tráfego, circuitos digitais) Entretenimento (MUD’s, MOO’s, SecondLife)

Ambientes Virtuais 3D Possuem geometria e topologia associadas. Podem possuir semântica. Características Habitáveis Interativos / Reativo Colaborativos Inteligentes

Ambientes Virtuais e Semântica Aplicada à diversas áreas de conhecimento Herança cultural Resgate histórico Reconstrução de cidades Simulação Arquitetura Reprodução de estilos arquitetônicos

Ambientes Virtuais e Semântica Representing the Semantics of Virtual Spaces (Chen, 1999) Categoriza os espaços virtuais em eixos Representação: textual – gráfica Uso: recreativo – profissional Análise da aplicação de semântica em ambientes virtuais Estudo de caso: StarWalker

Ambientes Virtuais e Semântica Semantics-based representation of virtual environments (Gutierrez, 2005) Apresenta uma definição para representação e uso de objetos virtuais dentro de ambientes virtuais com o uso de semântica Representação visual Representação funcional Reusabilidade Estudos de caso Animação e representação de humanos virtuais com multi- definição Humanos virtuais autônomos Condução de orquestra virtual

Ambientes Virtuais e Semântica Semantics-based representation of virtual environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica Semantics-based representation of virtual environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica Semantics-based representation of virtual environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica Semantics-based representation of virtual environments (Gutierrez, 2005)

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006) Apresenta uma abordagem para relacionar semântica e representação gráfica. OWL e X3D (XML) Descrição de funcionalidades do ambiente Ontologias independentes de cenários Estudos de caso Extração de informação semântica para deslocamento do usuário Visita guiada a um palácio de Veneza

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006) Relações possíveis entre objetos semânticos containedBy: especifica que um objeto está contido por um componente de maior nível hierárquico. sharedBy: especifica que o objeto é compartilhado por dois objetos hierarquicamente superiores boundedBy: expressa que o objeto está associado à um determinado espaço semântico

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006)

Ambientes Virtuais e Semântica Semantic Description of 3D Environments: a Proposal Based on Web Standards (Pittarello, 2006) Utilização do VoiceXML Informações sobre o ambiente são repassadas ao usuário através de voz sintetizada.

Ambientes Virtuais e Semântica Visual creation of inhabited 3D environments: An ontology-based approach (Garcia-Rojas, 2008) Criação de ambientes virtuais habitáveis Definição de comportamento e funcionalidades de objetos virtuais Programação Visual Java, OWL e X3D

Ambientes Virtuais e Semântica Visual creation of inhabited 3D environments: An ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica Visual creation of inhabited 3D environments: An ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica Visual creation of inhabited 3D environments: An ontology-based approach (Garcia-Rojas, 2008)

Ambientes Virtuais e Semântica Visual creation of inhabited 3D environments: An ontology-based approach (Garcia-Rojas, 2008)

Humanos Virtuais Representação de um humano em meio virtual Modelagem e Animação Forma 3D (malha de polígonos) Estruturas auxiliares à animação (esqueleto, músculos, pontos de controle) Estruturas que armazenam esses dados normalmente não “sabem” o que cada um dos componentes representa Falta semântica associada

Humanos Virtuais Representação de um humano em meio virtual Incorporação de uma “camada semântica” para a descrição de: Características ou atributos (features) Funcionalidades O que é um braço? O que um braço faz? Interação Como ele interage com o corpo e o ambiente? Habilidades

Modelagem Skinning Rigging

Preparação de quadros-chave da animação

Exemplo de personagem virtual animado

AQUI ESTAVA O VÍDEO DE MOTION CAPTURE

AQUI ESTAVA O VÍDEO DOS HUMANOS VIRTUAIS (VHLAB e carinhas caminhando no prédio 32)

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007) Conhecimento relacionado com: Modelagem do corpo e análise Animação Interação com objetos virtuais Algoritmos para a aquisição automática ou semi- automática de dados em humanos virtuais já existentes Detecção dos membros e do tronco Detecção das juntas Extração do esqueleto

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007)

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007) Questões de competência para determinar o escopo da ontologia História do modelo Lista de features Seqüências de animação Algoritmos de animação Interação com objetos

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007) Conceitos definidos para expressar de maneira formal a informação e conhecimento associados aos HVs: Geometria Forma do corpo Acessórios Animação Corpo Face Morfologia Idade, peso, altura, gênero... Comportamento Descritor e controles de comportamento Descritor de individualidade: personalidade, cultura, histórico, etc Algoritmos que conduzem os comportamentos considerando estado emocional e individualidade

An Ontology of Virtual Humans (Gutiérrez, 2007)

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007) Os Recursos são o produto que o usuário quer obter quando buscarem por um componente Um ou mais arquivos Algoritmos Cenários de aplicações Repositório de personagens virtuais Repositório de modelos Reconhecimento/extração/análise de formas

Humanos Virtuais An Ontology of Virtual Humans (Gutiérrez, 2007)

Animação Facial

AQUI ESTAVA O VÍDEO DE ANIMAÇÃO FACIAL

Humanos Virtuais Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006) Foco em expressões faciais conduzidas pelo estado emocional Animação certa para uma expressão de emoção Padrão de Animação Facial MPEG-4 Pontos de controle Parâmetros de animação

Humanos Virtuais Overview do MPEG-4 FA Facial Animation Parameters (FAPs) Facial Animation Parameter Units (FAPU) Feature Points (FPs) Overview do MPEG-4 FA Arquivo de animação FAP

Humanos Virtuais Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006) Domínio da ontologia Algumas questões: Quais são as animações de face para expressar a emoção sad? Quais os tipos de expressão angry existem? Qual é o intervalo dos FAPs para as seguintes emoções: worried, terrified? Dado um conjunto de valores FAP qual a emoção que pode ser produzida?

Humanos Virtuais Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006) Modelos de emoções Emoções básicas de Ekman anger joy sadness surprise disgust fear Espaço de avaliação/ativação de Whissel

Humanos Virtuais Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006) Protótipos de expressões Perfis (profiles) 25 perfis, agrupados nas 6 emoções básicas Computação de expressões intermediárias

Descrição dos perfis de protótipos e expressões intermediárias e a representação de emoção

Humanos Virtuais Emotional face expression profiles supported by virtual human ontology (García-Rojas, 2006) Exemplo de população de perfis de expressões na ontologia Profiles fear e sad geram a expressão intermediária depressed União dos intervalos dos FAPs dos profiles

Modelagem Hierárquica em CG Diferentes níveis de abstração na modelagem de controle de uma animação.

Behavior / Cognitive Modeling Behavior Modeling – modela a percepção e o comportamento reativo do ator Cognitive Modeling – Governa o que um ator sabe, como o conhecimento é adquirido e como ele pode ser utilizado para planejar as ações

Layered Virtual Human

Layered Virtual Human Ontologia

Animação Comportamental Individualized Reaction Movements For Virtual Humans (García-Rojas 2006) Personagens virtuais com comportamentos realísticos Providos de autonomia num mundo virtual habitado Reação a estímulos ou eventos, levando em consideração a individualidade do personagem

Animação Comportamental Individualized Reaction Movements For Virtual Humans (García-Rojas 2006) Estudo de caso: objeto vindo em direção ao HV Tipos de reação: Intersect Avoid Protect

Animação Comportamental Individualized Reaction Movements For Virtual Humans (García-Rojas 2006) Conceitos para a ontologia Descritor morfológico Individualidade Corpo Controladores de comportamento Comportamento de Reação Cinemática Inversa

Representação semântica da modelagem da reação individual

Animação Comportamental Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008) Continuação do trabalho, acrescentando um modelo de personalidade (Five Factor Model) Árvore de decisão para o comportamento reativo

Animação Comportamental Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008) A emoção regula o movimento Generic Personality and Emotion Model (PEModel) Mapeamento/anotação de ações de acordo com o estado emocional

Animação Comportamental Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008) Individualidade do HV Composição da animação de personagens

Animação Comportamental Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008) Semântica do movimento reativo usando Cinemática Inversa Descrição das expressões emocionais usando interpolação de Keyframes

Animação Comportamental Simulation of Individual Spontaneous Reactive Behavior(García-Rojas 2008) Um cenário de aplicação. Os VHs: Percebem um evento, e viram a cabeça olhando pra ele É obtido o tipo de reação de acordo com a personalidade Têm sua postura e reação computados (animação) Seu estado emocional é atualizado São adicionadas as animações restantes de acordo com o estado emocional VH com percepção sintética (visão, audição e tato)

Cena inicial

Seqüência do cenário reativo

Animação Comportamental AI-LIVE Simulação/jogo contendo personagens humanos e personagens controlados pelo computador Cenário contém células e entidades Entidades podem ser atores, paredes, objetos ou relacionamentos entre objetos/atores A ontologia inclui desde as ações que podem ser realizadas no ambiente até características psicológicas dos atores

AI-LIVE

Animação Comportamental Human Behavior Models Uma ontologia de valor descreve os princípios e preferências de um agente com o conceito “terrorista”

Animação Comportamental Human Behavior Models Uma decisão pode ser através da árvore de princípios. Ex: para cumprir sua missão, o terrorista pode escolher um curso de ação que o leve à morte. (1,0 * 0,2)+(0,7 * 0,2) – 0,2 = 0,14

Animação Comportamental Human Behavior Models

Animação Comportamental Ontology-based Crowd Simulation for Normal Life Situations Locais possuem um schedule de funcionamento Agentes possuem um profile que determina o comportamento espacial ao longo do dia

Animação Comportamental Ontology-based Crowd Simulation for Normal Life Situations

Animação Comportamental Ontology-based Crowd Simulation for Normal Life Situations

Considerações Utilização de ontologias para descrição/simulação de: Ambientes Virtuais Humanos Virtuais Conhecimento sobre Modelagem Animação Interatividade Funcionalidade Comportamento

Considerações Agrega conhecimentos de outras áreas Pesquisas recentes História Arquitetura Biologia Psicologia ... Pesquisas recentes Um grupo de pesquisadores bastante focado no assunto García-Hojas (École Polytechnique Fédérale de Lausanne, Suíça) Gutérrez (National Institute for Astrophysics, Optics and Electronics, México)

Referências Gutiérrez A., M., García-Rojas, A., Thalmann, D., Vexo, F., Moccozet, L., Magnenat-Thalmann, N., Mortara, M., and Spagnuolo, M. 2007. An ontology of virtual humans: Incorporating semantics into human shapes. Vis. Comput. 23, 3 (Feb. 2007), 207-218. García-Rojas, A., Vexo, F., Thalmann, D., Raouzaiou, A., Karpouzis, K., Kollias, S., Moccozet, L., and Magnenat-Thalmann, N. 2006. Emotional face expression profiles supported by virtual human ontology: Research Articles. Comput. Animat. Virtual Worlds 17, 3-4 (Jul. 2006), 259-269. B. G. Silverman, M. Johns, R. Weaver, K. O'Brien, R. Silverman. "Human Behavior Models for Game-Theoretic Agents: Case of Crowd Tipping". In: 10th Conference On Computer Generated Forces and Behavioral Representation, SISO, May 2001. S. Fernandez, R. Adarve, M. Perez, M. Rybarczyk, D. Borrajo. "Planning for an AI based virtual agents game". ICAPS Workshop in AI Planning for Synthetic Characters and Computer Games, 2006. D. C. de Paiva, R. Vieira, S. R. Musse. "Ontology-based Crowd Simulation in Normal Life Situations". Computers & graphics, v. 1, p. 221-226, 2005.

Referências García-Rojas, A., Gutiérrez, M., and Thalmann, D. 2008. Simulation of individual spontaneous reactive behavior. In Proceedings of the 7th international Joint Conference on Autonomous Agents and Multiagent Systems - Volume 1 (Estoril, Portugal, May 12 - 16, 2008). International Conference on Autonomous Agents. International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 143-150. A. Garcia-Rojas, F. Vexo, and D. Thalmann. Individualized reaction movements for virtual humans. In GRAPHITE '06: Proceedings of the 4th international conference on Computer graphics and interactive techniques in Australasia and Southeast Asia, pages 79--85, New York, NY, USA, 2006. ACM Press. Gutierrez, M.; Vexo, F. & Thalmann, D. 2005, 'Semantics-based representation of virtual environments', International Journal of Computer Applications in Technology 23(2-4), 229--38. Chen, C.; Thomas, L.; Cole, J. & Chennawasin, C. (1999), 'Representing the semantics of virtual spaces', Multimedia, IEEE 6(2), 54-63.

Referências Pittarello, F. & Faveri, A. D. 2006, Semantic description of 3D environments: a proposal based on web standards, in 'Web3D '06: Proceedings of the eleventh international conference on 3D web technology', ACM, New York, NY, USA, pp. 85--95. Garcia-Rojas, A.; Gutierrez, M. & Thalmann, D. 2008, 'Visual creation of inhabited 3D environments: An ontology-based approach', Visual Computer.