Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt

Apresentação em tema: "Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt"— Transcrição da apresentação:

1 Thiago M. Witt - MAC5743 - 2004 1 Colaboração Móvel com Realidade Aumentada Thiago M. Witt witt@ime.usp.br

2 Thiago M. Witt - MAC5743 - 2004 2 Agenda Augmented Reality Aplicações Problemas Projetos – OCAR (Outdoor Collaborative AR) – SignPost 2 – MARS – ETALA – Human Pacman – Outros Projetos

3 Thiago M. Witt - MAC5743 - 2004 3 Augmented Reality Enriquecimento da visão do mundo real percebida pelo usuário através da adição de elementos virtuais à imagem. Estes elementos virtuais de alguma forma aumentam a cena real com informações adicionais Exemplos famosos: Robocop, Top Gun

4 Thiago M. Witt - MAC5743 - 2004 4 Augmented Reality (cont)

5 Thiago M. Witt - MAC5743 - 2004 5 Augmented Reality (cont) Equipamento geralmente consiste em um wearable computer com: – Capacete com display “see-through” (Head mounted display, ou HMD), câmera de vídeo e sensores de movimento e direção. – Mochila com central de processamento e renderização, sensores de posicionamento, interface wireless, baterias. – Dispositivo para interação com o sistema – Também existem projetos de AR utilizando apenas handhelds com câmera

6 Thiago M. Witt - MAC5743 - 2004 6 Augmented Reality (cont)

7 Thiago M. Witt - MAC5743 - 2004 7 Aplicações Navegação em geral Visualização de informações sobre elementos sendo observados (Ex: construções / exposições) Colaboração entre unidade móvel com AR e unidade fixa (pesquisa de campo, campanhas militares) Jogos e entretenimento

8 Thiago M. Witt - MAC5743 - 2004 8 Problemas Sincronização espacial entre o mundo real e virtual Rastreamento dos movimentos do usuário Processamento de imagem Alto custo do equipamento Nada bonito de se ver (nem confortável)

9 Thiago M. Witt - MAC5743 - 2004 9 OCAR (Outdoor Collaborative AR) Interactive Media Systems Group, Vienna University of Technology, Austria Sistema de navegação pela cidade de Vienna Investiga como dois ou mais usuários podem interagir em tarefas como navegação e acesso a informações em ambientes outdoor com realidade aumentada.

10 Thiago M. Witt - MAC5743 - 2004 10 OCAR (Outdoor Collaborative AR) Ajuda o pedestre a navegar pela cidade apresentando pontos de referência artificiais conduzindo-o ao destino desejado.

11 Thiago M. Witt - MAC5743 - 2004 11 OCAR (Outdoor Collaborative AR) Algumas construções possuem informações associadas que podem ser acessadas a qualquer momento. É possível criar anotações pessoais nas construções

12 Thiago M. Witt - MAC5743 - 2004 12 OCAR (Outdoor Collaborative AR) Pesquisas para colaboração entre os usuários incluem: – Possibilidade de seguir outros usuários – Estabelecer e encontrar pontos de encontro – Uso de displays compartilhados para troca de informações

13 Thiago M. Witt - MAC5743 - 2004 13 OCAR (Outdoor Collaborative AR) Hardware usado – GPS Diferencial – Sensor de inércia – 2 sensores InterTrax2 para monitorar a orientação do corpo e da cabeça – Um pequeno painel preso ao pulso, para apresentação 2D – Display “see-through” – Câmera VGA Firewire – Wireless LAN – Laptop Dell + placa 3D

14 Thiago M. Witt - MAC5743 - 2004 14 SignPost 2 Desenvolvido pela mesma equipe do OCAR Sistema de navegação In-Door Visa facilitar a navegação do usuário por um prédio desconhecido Usuário informa a posição atual e o destino e o sistema o guia pelos corredores

15 Thiago M. Witt - MAC5743 - 2004 15 SignPost 2 O sistema calcula o menor caminho entre a posição atual e o destino desejado e orienta o usuário usando setas e realce das portas a serem usadas. Um modelo em miniatura do prédio mostrando a localização do usuário pode ser exibido para facilitar a navegação Como neste caso não é possível confiar apenas em GPS para manter a posição do usuário atualizada, são utilizados símbolos especiais nas paredes em todo o prédio a cada 4 metros

16 Thiago M. Witt - MAC5743 - 2004 16 SignPost 2 As imagens capturadas pela câmera são processadas e os símbolos nas paredes são reconhecidos, possibilitando a identificação da posição atual do usuário no prédio. – A localização de todos os símbolos naturalmente deve estar pré-cadastrada no sistema. – Reaproveitamento de símbolos é feito de maneira semelhante ao reaproveitamento de canais de transmissão de rádio. As mudanças bruscas de orientação do usuário são detectadas com o sensor de inércia

17 Thiago M. Witt - MAC5743 - 2004 17 SignPost 2

18 Thiago M. Witt - MAC5743 - 2004 18 SignPost 2 O sistema é composto por 4 sub-aplicações: – BAU (Building AUgmentation) Rastreamento do usuário, geometria do prédio – AUG (AUGmentation) Aumenta a cena real com o modelo virtual do prédio – WIM (World In Miniature) Cria o modelo em miniatura do prédio com a posição atual do usuário – NAV (NAVigation) Responsável por gerar o percurso e orientar o usuário com setas e indicações

19 Thiago M. Witt - MAC5743 - 2004 19 SignPost 2 BAU Interação usando o PIP (personal interaction panel) Não detecta sozinho a posição inicial

20 Thiago M. Witt - MAC5743 - 2004 20 SignPost 2 - AUG

21 Thiago M. Witt - MAC5743 - 2004 21 SignPost 2 - WIM

22 Thiago M. Witt - MAC5743 - 2004 22 SignPost 2 - NAV

23 Thiago M. Witt - MAC5743 - 2004 23 SignPost 2 Problemas – Para um bom funcionamento, é necessário uma alta densidade de marcadores nas paredes – O usuário tem que informar sua posição ao iniciar o uso do sistema

24 Thiago M. Witt - MAC5743 - 2004 24 MARS Mobile Augmented Reality Systems Columbia University Computer Graphics and User Interfaces Lab Em desenvolvimento desde 1996

25 Thiago M. Witt - MAC5743 - 2004 25 MARS Objetivos principais – Identificar tarefas genéricas que um usuário móvel gostaria de executar usando um sistema sensível a contexto – Desenvolver componentes de interface gráfica reutilizáveis para aplicações de realidade aumentada – Combinar diferentes tecnologias de display como palmtops e óculos “see-through”

26 Thiago M. Witt - MAC5743 - 2004 26 MARS Dividido em 4 sub-projetos – Touring Machine – Mobile Journalist's Workstation – UIs for Indoor/Outdoor Collaboration – The MARS Authoring Tool

27 Thiago M. Witt - MAC5743 - 2004 27 MARS Touring Machine – Semelhante ao projeto OCAR – Guia usuário pelo campus da universidade – Permite associar conteúdo texto aos monumentos e construções – Envia URLs para o browser do palmtop

28 Thiago M. Witt - MAC5743 - 2004 28 MARS Touring Machine

29 Thiago M. Witt - MAC5743 - 2004 29 MARS Mobile Journalist's Workstation – Estende o Touring Machine – Permite associar conteúdo multimídia às construções como imagem, som e vídeo – Conteúdos de diferentes construções podem ser linkados entre si – Conteúdos podem ser presos ao display ou fixos no mundo

30 Thiago M. Witt - MAC5743 - 2004 30 MARS

31 Thiago M. Witt - MAC5743 - 2004 31 MARS UIs for Indoor/Outdoor Collaboration – Permite que um usuário móvel seja monitorado ou guiado por alguém remotamente – Usuário móvel pode relatar suas observações para os usuários indoor – Todas as interfaces utilizam o mesmo repositório compartilhado de informações sobre o campus

32 Thiago M. Witt - MAC5743 - 2004 32 MARS

33 Thiago M. Witt - MAC5743 - 2004 33 MARS The MARS Authoring Tool – Ferramenta de criação de conteúdo hypermedia para o ambiente MARS – Desenvolvido usando Java3D – Permite a criação de uma narrativa envolvendo múltiplas mídias e hyperlinks para narrativas de outros elementos do ambiente

34 Thiago M. Witt - MAC5743 - 2004 34 MARS

35 Thiago M. Witt - MAC5743 - 2004 35 MARS Hardware usado – Laptop com aceleração 3D – GPS+GLONASS – See-through display – Sensor de orientação – WLAN (802.11a/b) – Handheld com um trackpad no verso para manipulação do cursor – Não utiliza câmera

36 Thiago M. Witt - MAC5743 - 2004 36 ETALA Helsinki University of Technology, Finland Provê um meio de comunicação entre um especialista e uma equipe de manutenção trabalhando num local remoto. Unidade móvel no local de manutenção é controlada pelo especialista através do mouse, joystick ou sensor de orientação HMD (Head mounted display)

37 Thiago M. Witt - MAC5743 - 2004 37 ETALA Features – Comunicação por voz com a equipe – Modelo virtual do sistema ou serviço a ser reparado – Realidade aumentada do modelo virtual sobre o sistema real, com informações sobre o modelo – Controle remoto da câmera no local de manutenção – Visão estéreo do local remoto usando o HMD – Dispositivo apontador laser na unidade remota – Transferência de arquivos

38 Thiago M. Witt - MAC5743 - 2004 38 ETALA

39 Thiago M. Witt - MAC5743 - 2004 39 ETALA Hardware – Unidade remota – Duas câmeras + laser pointer – Suporte para movimento da câmera – Laptop com WLAN Hardware – Operadores remotos – Computador preso ao cinto com mouse – Um HMD com microfone e fones de ouvido – Mini-câmera

40 Thiago M. Witt - MAC5743 - 2004 40 ETALA Hardware – Especialista – Desktop com 2 placas 3D para visualização estéreo – HMD com sensor de orientação (opcional) – Joystick (opcional) – Internet

41 Thiago M. Witt - MAC5743 - 2004 41 Human Pacman Mixed Reality Lab, National University of Singapore Financiado pelos militares Traz o famoso jogo dos anos 80 para as ruas do campus Apenas um dos vários projetos envolvendo realidade aumentada do grupo

42 Thiago M. Witt - MAC5743 - 2004 42 Human Pacman Jogadores incorporam os “personagens” pacman e fantasma O mapa das ruas do campus vira o mapa do jogo Biscoitos virtuais aparecem nas ruas e são coletados ao se passar por eles Power-ups são dispositivos reais que podem ser coletados ao segurá-los Fantasmas pegam o pacman segurando seu ombro

43 Thiago M. Witt - MAC5743 - 2004 43 Human Pacman Jogadores podem se comunicar Ajudantes usando desktops podem ter uma visão geral do mapa e guiar os jogadores em tempo real

44 Thiago M. Witt - MAC5743 - 2004 44 Human Pacman

45 Thiago M. Witt - MAC5743 - 2004 45 Human Pacman

46 Thiago M. Witt - MAC5743 - 2004 46 Human Pacman

47 Thiago M. Witt - MAC5743 - 2004 47 Human Pacman

48 Thiago M. Witt - MAC5743 - 2004 48 Outros Projetos Mixed Reality Lab – Magic Cubes – 3D Live – Touch-Space ARQuake UNC Ultrasound Augmented Reality Research TransVision The Invisible Train

49 Thiago M. Witt - MAC5743 - 2004 49 ARQuake

50 Thiago M. Witt - MAC5743 - 2004 50 Magic Cubes

51 Thiago M. Witt - MAC5743 - 2004 51 Invisible Train

52 Thiago M. Witt - MAC5743 - 2004 52 Referências Mixed Research Lab – http://mixedreality.nus.edu.sg/RESEARCH.HTM http://mixedreality.nus.edu.sg/RESEARCH.HTM Studierstube Augmented Reality Project – http://studierstube.org/research_master.php http://studierstube.org/research_master.php MARS – http://www1.cs.columbia.edu/graphics/projects/mars/mars.html http://www1.cs.columbia.edu/graphics/projects/mars/mars.html ETALA – http://www.automation.hut.fi/etala/ http://www.automation.hut.fi/etala/ ARQuake – http://wearables.unisa.edu.au/projects/ARQuake/www/index.html http://wearables.unisa.edu.au/projects/ARQuake/www/index.html Tinmith Project – http://www.tinmith.net/tinmith.htm