Agentes Inteligentes e Sistemas Multi-agente Personagens Sintéticas 1

Tópicos Arquitectura Introdução Personagens Sintéticas em Mundos Virtuais Caso: C4 – Um Cérebro Virtual Arquitectura Embodied Conversational Agents Modelo FMTB REA Referências

Introdução O que são personagens sintéticas? Personagens que parecem vivas. Criaturas que parecem possuir personalidade. Inúmeras aplicações Interfaces Homem-Máquina Jogos de computador Entretenimento

Introdução Várias áreas de estudo: Animação tradicional Computação gráfica Inteligência artificial Psicologia Interfaces multimodais

Introdução Aparecimento das primeiras personagens sintéticas nos anos 20. “Disney animation makes audiences realy believe in … characters.” – illusion of life (Thomas 1981) “It is the change in shape that shows what the character is thinking. It is the thinking that gives the illusion of life.” – illusion of life (Thomas 1981)

Introdução Projecto de OZ - 1992 Personagens sintéticas em ambientes interactivos. Inspirado no trabalho dos animadores da Disney. Baseada em: aspectos comportamentais. Objectivos. Emoções Criaturas com reacções emocionais a eventos. Introduz o conceito de credibilidade.

Introdução Personagem credível – proporciona a ilusão de vida, permitindo a suspensão de descrença da audiência. Emoção fundamental para criar a ilusão de vida. Três pontos chave para a representação de emoções: Estado emocional da personagem claramente definido. Processo de pensamento revela o sentimento. Acentuação das emoções.

Arquitectura Introdução Personagens Sintéticas em Mundos Virtuais: os primeiros sistemas Caso: C4 – Um Cérebro Virtual Arquitectura Embodied Conversational Agents Modelo FMTB REA Referências

ALIVE O projecto ALIVE mostrava várias personagens (a principal das quais é um cão) que interagiam com um utilizador humano em tempo real O projecto utilizava captura de vídeo para fazer reconhecimento de gestos e para sobrepôr imagens virtuais num ambiente de realidade aumentada O utilizador podia interagir com o mundo virtual controlando directamente um agente proxy que o representava nesse mundo.

ALIVE

ALIVE Behaviours Motor System Motor Skills Geometry Controllers Deg. Of Freedom Geometry

SWAMPED!

Arquitectura Introdução Personagens Sintéticas em Mundos Virtuais Caso: C4 – Um Cérebro Virtual Arquitectura Embodied Conversational Agents Modelo FMTB REA Referências

C4 – Um Cérebro Virtual Trabalho desenvolvido por Blumberg no grupo de personagens sintéticas. Influenciado pela teoria da atitude intencional. Se conhecermos as crenças e os desejos de uma criatura, podemos predizer as suas acções. Noção de “ilusão de vida”. Personagens com a capacidade de expressarem o seu estado mental: Um observador pode inferir as suas crenças e desejos.

C4 – Um Cérebro Virtual Exemplo: Sheep|dog Duncan Pastor Ovelhas Utilizador controla o pastor, dando comandos de voz ao duncan (sit,down,away).

C4 - Arquitectura

C4 - Arquitectura Sistema Sensorial Sistema Percepcional Único ponto de entrada de informação sensorial. Garante Honestidade sensorial. A criatura só vê o que está no seu campo de visão. Sistema Percepcional Atribui significado à informação sensorial recebida. Árvore de Percepções.

C4 - Arquitectura São apenas feitas transversias parciais da árvore. Permite reduzir a dimensionalidade da informação sensorial recebida. Pode-se substituir os classificadores sem afectar o funcionamento do sistema.

Sistema Proprioceptivo C4 - Arquitectura Sistema Proprioceptivo Animais usam sensores que detectam extensão dos músculos para determinar a posição dos seus orgãos. Criaturas têm consciência do seu estado interno. Mecanismo Blackboard. Criatura pode registar eventos só visíveis a si.

C4 - Arquitectura Memória de Percepção Simula a memória de trabalho humana. Lista de objectos persistentes. Percepções Predições Hipóteses Juntos formam a vista que a criatura tem do contexto. Todos os componentes da C4 podem alterar ou acrescentar este tipo de objectos.

C4 - Arquitectura Eventos de diferentes modalidades podem ser combinados num único objecto. A confiança num determinado objecto vai decaindo ao longo do tempo. Estrutura permite-nos questionar a memória de maneiras muito úteis. “Há comida perto de mim?” Escolher alvos de acção. “Procura um objecto humanóide e vai até ele”.

C4 - Arquitectura Predição Informação sensorial vinda de um objecto pode ser interrompida temporariamente. Quando o registo de uma percepção não é observado: O seu valor é predito. Torna-se visível ao sistema como se tivesse sido realmente observado. Base para surpresa. Um objecto que tenha fornecido um estimulo surpreendente é um excelente candidato para receber o foco de atenção da criatura. Predição contribui para o senso comum e a credibilidade de uma criatura. Implicam expectativas acerca do mundo.

C4 - Arquitectura Video Sheep|Dog

C4 - Arquitectura Selecção de Acções Responder a 4 questões: Quando fazer? O que fazer e como fazer? A que o fazer? Durante quanto tempo? Acção modifica estado interno da criatura Guarda na memória o objecto actual de interesse

C4 - Arquitectura Grupos de Acções Acções avaliadas em função do contexto corrente e do seu valor intrínseco. As acções na “Startle List” competem deterministicamente. Se nenhuma for relevante, as acções na “Default list” competem probabilisticamente.

C4 - Arquitectura Sistema de Navegação Intercepta as ordens escolhidas pelo sistemas de acções. Decompõem-nas numa sequência de movimentos que envia para o Sistema Motor. Permite uma representação mais conveniente no Sistema de acções. Alivia-o de implementar as suas decisões.

C4 - Arquitectura Sistema Motor Responsável por tornar a criatura visualmente credível Permite Gestos simples Locomoção Simular a atenção da criatura, através do olhar. Utiliza grafos de pose.

Videos

Arquitectura Modelo FMTB REA MACK Introdução C4 – Um Cérebro Virtual Embodied Conversational Agents Modelo FMTB REA MACK Referências

Embodied Conversational Agents Humanos Virtuais com capacidades sociais e linguísticas para levar a cabo uma conversação face a face. Utilizam o corpo de uma maneira muito semelhante aos humanos. Ideais para suportarem uma interacção eficiente entre pessoas e máquinas. Sistemas de diálogo robustos face a ruido no reconhecimento de fala. Não é necessário treino por parte dos utilizadores.

Embodied Conversational Agents Propriedades: Reconhecem e respondem a entradas verbais e não verbais. Geram saidas verbais e não verbais. Lidam com funções conversacionais (dar a vez, dar feedback). Dispõem de sinais que indicam o estado da conversa.

Modelo FMTB Objectivos: Analisando o processo de conversação humano e centrando a nossa análise no emissor e no receptor... ... Conseguir estabelecer um modelo que estruture a interacção entre um humano e um E.C.A. Ideias Base: Funções vs. Comportamentos na conversação Sincronização Divisão entre as contribuições proposicionais e interaccionais As diferentes Modalidades na conversação

Modelo FMTB Dois tipos de contribuições: FMTB – Functions Funções proposicionais. Correspondem ao conteúdo da conversa. Discurso informativo, gestos manuais, entoação de voz, etc. Exemplo: Gestos que indicam tamanho na sentença “era deste tamanho”. Funções Interaccionais. Pistas que regulam e mantêm aberto o canal de comunicação. Exemplo: Acenar com a cabeça para indicar que se está a compreender o interlocutor.

Modelo FMTB Fala, olhar, gestos. “O café fica ali.” FMTB – Modalities Possibilidade de usar várias modalidades de comunicação simultâneamente. Fala, olhar, gestos. Olhos focam a atenção do interlocutor. Mãos ajudam a retirar ambiguidades e a descrever localizações. “O café fica ali.” “Passa-me aquela camisa.”

Modelo FMTB FMTB – Timing Pessoas assumem que acontecimentos síncronos têm significado. O significado de um simples acenar pode depender da altura em que ocorre na conversa: Um acenar de cabeça no preciso momento em que o emissor pede feedback revela que o receptor está a compreendê-lo! Um atraso em acenar a cabeça por parte do receptor pode significar discordância.

Modelo FMTB FMTB – “Behaviours are not functions” A mesma função comunicativa nem sempre se mapeia no mesmo comportamento. O mesmo comportamento nem sempre serve a mesma função. Funções: Comportamentos: Reagir a uma pessoa Lançar um olhar breve Desviar-se da conversa Olhar em redor Despedir-se Acenar com as mãos, Acenar com a cabeça Pedir Feedback Olhar para o interlocutor, Levantar as sobrancelhas Fornecer Feedback Olhar para o interlocutor, Acenar com a cabeça

REA REA (Real Estate Agency) é um ECA no domínio das agências imobiliárias. Tem uma base de dados com casas à venda. Mostra imagens tridimensionais das casas e quartos. Duas câmaras permitem detectar a posição da cabeça e das mãos do utilizador. Utilizador fala com a REA através de um microfone.

REA - Arquitectura

REA - Arquitectura Input Manager Recolhe dados das várias modalidades. Decide se requerem reacção imediata, ou processamento deliberativo. Hardwired Reactions Lida com reacções espontâneas aos estímulos recebidos. O agente pode seguir o utilizador com o olhar enquanto está a processar o que dizer.

REA - Arquitectura Action Scheduler É responsável pelo escalonamento dos eventos motores a serem enviados à figura que representa o agente Uma função crucial é sincronizar as acções entre todas as modalidades, evitando conflitos nos pedidos. Deliberative Module Gere todos os inputs que necessitem de um modelo de discurso para serem devidamente interpretados. Isso inclui tanto os comportamentos interaccionais como os proposicionais.

REA - Arquitectura Understanding Module Integrar as diferentes modalidades numa única representação semântica. Comportamento -> Funções Decision Module Interactional Processing Propositional Processing Response Planner Generation Module Funções -> Comportamento Gera accções primitivas (gestos,discurso) Envia-as para o Action Scheduler e monitoriza a sua execução.

REA - Exemplo Mike aproxima-se do ecrâ. Rea está virada noutra direcção. Rea vira-se, olha para Mike e diz: “Olá, em que posso ajudá-lo?” “Procuro uma casa perto do MIT.” “Tenho uma casa para lhe mostrar.” Aparece uma imagem da casa no ecrâ. Rea olha para a casa e novamente para Mike. “Fale-me sobre ela.” Rea olha para um sitio distante enquanto decide o que dizer. “É grande.”

REA - Exemplo Mike levanta as mão indicando que vai falar. Rea para e espera. “É muito longe?” “Fica a 5 minutos da estação de metro” “É muito grande?” “Tem 4 quartos, 3 casas de banho…” Mike interrompe Rea que para de falar imediatamente. “Onde é que fica o quarto principal?” “No andar de cima.” “E a casa de banho principal?” “Ao lado do quarto”

Agentes Pedagógicos STEVE Carmen VICTEC

Referências Marques, A., Personagens Sintéticos – Uma Perspectiva Panorâmica. Bates, J., The Role of Emotion in Believable Agents. Cassell, J., More Than Just Another Pretty Face: Embodied Conversational Interface Agents. Cassell, J., Embodied Conversational Agents: Representation and Intelligence in User Interface. Cassell, J., et Al., MACK: Media Lab Autonomous Conversational Kiosk. Cassell, J., Stocky, T., Shared Reality: Spatial Intelligence in Intuitive User Interfaces. Blumberg, B., et Al., Creature Smarts: The Art and Architecture of a Virtual Brain. Blumberg, B., Kline, C., The Art and Science of Synthetic Character Design.