“Explorando Modelos Virtuais 3D com Realidade Aumentada no SDK do iPhone” Jonathan Hess orientado por Dalton Solano dos Reis.

Apresentação em tema: "“Explorando Modelos Virtuais 3D com Realidade Aumentada no SDK do iPhone” Jonathan Hess orientado por Dalton Solano dos Reis."— Transcrição da apresentação:

1 “Explorando Modelos Virtuais 3D com Realidade Aumentada no SDK do iPhone” Jonathan Hess orientado por Dalton Solano dos Reis

2 Roteiro da Apresentação Introdução Fundamentação Desenvolvimento Operacionalidade Resultados obtidos Conclusão Demonstração

3 Introdução iPhone Augmented Reality  API de realidade aumentada para iOS  Marker-based tracking

4 Fundamentação Realidade aumentada  Objetos virtuais em meio físico  Marcações ou coordenadas do GPS (pontos de interesse)

5 Fundamentação Principais APIs  OpenGL ES  gráficos 3D  OpenCV  filtros de imagem  ArUco  detecção de marcações (depende do OpenCV)

6 Fundamentação Transformações 3D  Matrizes de modelação-visualização e projeção  Translação, rotação e escala

7 Fundamentação ArUco  0 – 1.023 identificações  Código de Hamming modificado  Geração de matrizes de modelação-visualização

8

9 Fundamentação Calibragem da câmera  Fatores de projeção e distorção da lente do dispositivo  Arquivo YML carregado pela ArUco

10 Fundamentação NEON  Operações paralelas em elementos semelhantes (SIMD)  Cooprocessador da arquitetura ARMv7

11 Fundamentação Trabalho correlato: Parallel Tracking and Mapping  Markless tracking

12 Fundamentação Trabalho correlato: ARhrrrr!!!  Jogo de RA com templates de cenários

13 Fundamentação Trabalho correlato: Layar  Registro de pontos de interesse por GPS

14 Requisitos ①Permitir a captura de imagens do mundo real através da câmera digital do dispositivo (RF); ②Permitir a calibragem da disposição dos objetos através de códigos de barras (RF); ③Sobrepor as imagens obtidas através da câmera digital com objetos virtuais 3D de modo a parecer que os objetos coexistam (RF); ④Alterar a perspectiva da visão do usuário de acordo a movimentação do alvo da câmera digital (RF); ⑤Implementar a movimentação dos objetos para as posições que lhe são ordenados pelo usuário através de toques na tela (RF); ⑥Ser implementando para a plataforma iOS (RNF); ⑦Possuir documentação completa (RNF).

15 Casos de uso

16 Diagrama de classes

17 Diagrama de sequência

18 Desenvolvimento Principais ferramentas  Xcode  IDE  Enterprise Architect  especificação  XP-Dev  repositório SVN  doxygen  documentação

19 Desenvolvimento - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions { CGRect bounds = [[UIScreen mainScreen] bounds]; window = [[UIWindow alloc] initWithFrame:bounds]; main = [[iARViewController alloc] initWithFrame:bounds]; [window makeKeyAndVisible]; [window setRootViewController:main]; return YES; } Acoplando motor de RA

20 Desenvolvimento Rotina de detecção de marcações - (void)didCaptureBufferProcessingFinish:(NSNotification *)notification { … detector.detect([videoInput buffer], markers, cameraParams, info.markerSz); … for (int i=0; i < markers.size(); i++) { Object *obj; if (!(obj = objManager->objectWithID(markers[i].id))) { continue; } M3DMatrix44d tempMtx; markers[i].glGetModelViewMatrix(tempMtx); obj->copyModelview(tempMtx); } … [graphics refreshWithMarkers:markers]; … }

21 Desenvolvimento Adicionando novos objetos 3D … WavefrontParser *parser = [[WavefrontParser alloc] init]; Object *cube = objManager->addObject(0); [parser parseIntoObject:cube fromFile:@"cube"]; …

22 Operacionalidade

23 Compatibilidade com vídeo

24 Operacionalidade

25 Opções do iAR  Seleção dos modos de visualização 3D  Monitoramento do desempenho da aplicação

26 Operacionalidade

27 Resultados obtidos Quantidade de facesTempo de análise (ms) 129,57 960370,94 968382,67 Tempo de análise arquivos obj

28 Resultados obtidos Quantidade de objetos Quantidade total de faces visíveis Quadros por segundo 11250,6 297250,2 31.94050,3 FPS / quantidade objetos 3D

29 Resultados obtidos Quantidade de marcações Tempo de detecção (ms) FPS 1507,511,97 2577,911,73 3710,441,41 4753,961,33 5850,821,18 6957,351,04 Tempo de detecção de marcações Quantidade de marcações Tempo de detecção (ms) FPS 1543,331,84 2698,091,43 3708,241,41 4832,231,20 5879,821,14 6985,081,02 SIMD original

30 Resultados obtidos SIMD original

31 Conclusão iPhone Augmented Reality  Realidade aumentada: a nova geração de jogos e aplicações  API funcional de fácil acoplagem para o iOS  Necessita de otimizações  Base para trabalhos mais sofisticados  Projeto open source

32 Extensões ①Desenvolver a texturização de objetos 3D, onde as imagens 2D são carregáveis através dos arquivos mtl vinculados aos arquivos obj; ②Disponibilizar mais opções de interação com os objetos 3D além da rotação, que já existe na API; ③Otimizar o funcionamento do motor de detecção, reescrevendo os algoritmos de tratamento de imagens do OpenCV em formato SIMD; ④Disponibilizar métodos para o desenvolvimento de aplicações de RA mais robustas, como por exemplo, implementar diferentes comportamentos para cada tipo de objeto 3D que compõe o cenário da aplicação; ⑤Desenvolver o tratamento de colisões 3D; ⑥Aplicar algoritmos de inteligência artificial nos objetos 3D, o que pode ser útil para jogos de RA; ⑦Implementar o reconhecimento de templates mais genéricos (QR code, tabuleiros, etc.), além das marcações em preto e branco atualmente utilizadas, como por exemplo, logotipos de marcas direcionadas à intenções publicitárias.

33 Demonstração

34 Pipeline do OpenGL

35 Parâmetros intrínsecos

36 Identificação de marcações

37 Erro ray picking

38 Nvidia HD phone Configurações  Tela sensível ao toque: 800×600;  Câmera com 5.0 megapixels;  GPU Nvidia Tegra;