A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza.

Apresentações semelhantes


Apresentação em tema: "Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza."— Transcrição da apresentação:

1 Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo Dissertação de Mestrado

2 Motivação Tem se dispositivos de entrada usados para permitir ao usuário uma interação com um cenário virtual. Os dispositivos estão baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas, inerciais e híbridas. Dissertação de Mestrado

3 Motivação Procura se um dispositivo que permita melhorar a flexibilidade em referência aos movimentos naturais que o usuário quisera fazer. Propõe se vários dispositivos de interação que pelo alto custo foram confinados a laboratórios de pesquisa especializada com alto nível de investimento. Dissertação de Mestrado

4 Objetivo Construção e implementação de um dispositivo experimental de rastreamento óptico orientado a extrair os seis graus de liberdade da movimentação feita por um conjunto de marcadores esféricos. A partir da extração dos seis graus de liberdade, adaptar o dispositivo experimental para emitir eventos que são interpretados pelo sistema como sinais para controlar objetos ou navegar dentro de aplicações desktop 3D de realidade virtual. O dispositivo proposto surja como uma nova opção de dispositivo de interação que é fácil de montar e tem um baixo custo de construção. O dispositivo proposto surja como uma nova opção de dispositivo de interação que é fácil de montar e tem um baixo custo de construção. Dissertação de Mestrado

5 Dispositivos de Rastreamento Dispositivos de rastreamento baseados em diferentes tecnologias como: Magnéticos. Magnéticos. Mecânicos. Mecânicos. Sonoros. Sonoros. Inerciais. Inerciais. Ópticos. Ópticos. Híbridos. Híbridos. Dissertação de Mestrado

6 Rastreamento Óptico O funcionamento se baseia na captura pelas câmeras dos emissores de luz ou objetos revestidos de material retrorreflexivo ou padrões planares pre-definidos que, após a aplicação de técnicas de visão computacional sobre as imagens capturadas, dão como resultado a posição e orientação dos objetos rastreados no espaço 3D. Dissertação de Mestrado

7 Rastreamento Óptico Tem se duas configurações: 1. A fonte de luz, ou os marcadores retrorreflexivos, estão localizados no objeto rastreado e as câmeras estão posicionadas no espaço de rastreamento (Outside-in). 2. Os marcadores estão dispersas no espaço de rastreamento definindo eixos 2D, no teto ou nas paredes, e as câmeras ficam no objeto rastreado (Inside-out). Dissertação de Mestrado

8 O Dispositivo de Rastreamento Óptico Proposto Descrição dos componentes e características físicas do dispositivo. Descrição da implementação do processo de rastreamento óptico. Extração dos 6 graus de liberdade do rastreamento dos marcadores. Dissertação de Mestrado

9 Equipamento Utilizado Os componentes são: 3 câmeras web. 3 câmeras web. Uma caixa de madeira, pintada de cor preta, com dimensões de 0.5×0.5×0.5 m. Uma caixa de madeira, pintada de cor preta, com dimensões de 0.5×0.5×0.5 m. Um suporte móvel de alumínio, que serve de base para as câmeras web. Um suporte móvel de alumínio, que serve de base para as câmeras web. Duas lâmpadas, colocadas nos extremos laterais da caixa de madeira. Duas lâmpadas, colocadas nos extremos laterais da caixa de madeira. Bolas de isopor branco utilizadas como marcadores. Bolas de isopor branco utilizadas como marcadores. Dissertação de Mestrado

10 Características Físicas em Comum Uma área física bem definida, onde fica concentrado o campo de visão das câmeras e onde se faz o rastreamento dos marcadores definidos. Um conjunto de câmeras, que são colocadas a uma altura moderada da área de rastreamento para não atrapalhar a movimentação que o usuário possa fazer dentro desse espaço. Um conjunto de marcadores, que na maioria das vezes são esféricos, e que serão os alvos no processo de rastreamento. Dissertação de Mestrado

11 Processo de Rastreamento Captura e processamento da imagem de vídeo. Extração de marcadores. Calibração das câmeras web. Correlação de marcadores. Reconstrução 3D dos marcadores. O processo de rastreamento óptico é composto por vários subprocessos, cujos tópicos chave são: Dissertação de Mestrado

12 Captura das Imagens O primeiro passo é a captura das imagens de vídeo dos dispositivos. Dissertação de Mestrado 1 2 3

13 Processamento das Imagens Aplicação de filtros sobre as imagens com a finalidade de deixar só a informação relevante para nossa implementação. Gray Scale e Gaussiano Threshold Dissertação de Mestrado

14 Reconhecimento de Áreas de Interesse A partir das coordenadas dos pixels que formam o contorno das áreas circulares, se calcula a media aritmética como sendo o centro delas. Este será o ponto de referência utilizado. Dissertação de Mestrado

15 Calibração das Câmeras O objetivo é encontrar uma medida de relacionamento entre o mundo 3D, ou seja, o espaço físico que é visto pela câmera, e o plano da imagem 2D que nós vemos na tela do computador visualizando o espaço físico capturado. Dissertação de Mestrado

16 Padrão para Calibração Se calibrara as câmeras a partir dos pontos de referência. Usando o reconhecimento das áreas de interesse propomos nosso padrão de calibração. Dissertação de Mestrado

17 Método de Calibração Após a captura dos pontos do nosso padrão, cada câmera será calibrada utilizando este mesmo conjunto de pontos de referência. Se utilizou o método TSAI não – coplanar. Dissertação de Mestrado

18 Matriz Parâmetros Extrínsecos Como resultado da calibração conseguimos calcular a matriz de rotação R e o vetor de translação T que nos permitem levar coordenadas do mundo a coordenadas do espaço da câmera (Parâmetros extrínsecos). Dissertação de Mestrado

19 Matriz Parâmetros Intrínsecos Esta matriz permite levar pontos do espaço da câmera a coordenadas na imagem. Os parâmetros intrínsecos são : distancia focal f, Centro da imagem em pixels O x e O y,tamanho efetivo em mm. do pixel d x e d y. Dissertação de Mestrado

20 Resultado da Calibração O resultado foi testado projetando os eixos ortogonais do mundo sobre na mesmas imagens de vídeo capturadas. Dissertação de Mestrado

21 Detecção de Marcadores Aqui aplicaremos os filtros sobre as imagens para extrair a informação que precisamos sobre os marcadores. Se utilizou a extração de contornos para a detecção dos marcadores. Dissertação de Mestrado

22 Correlação dos Marcadores Uma vez detectados os marcadores, se fará a correlação dos mesmos entre as 3 imagens capturadas. Se utilizara a geometria epipolar para implementação desta etapa. Dissertação de Mestrado Caso Intuitivo

23 Múltipla Correlação Um caso mais complexo é quando temos mais de um marcador nas imagens das câmeras web, e com isto temos que fazer uma correlação entre os n marcadores detectados nas câmeras. Precisa ter uma ferramenta de correlação : Uso da Geometria Epipolar, uso das matrizes fundamentais. Dissertação de Mestrado

24 Objetivo de uso da Geometria Epipolar A geometria epipolar nos permite ter uma ferramenta com as seguintes vantagens: Individualizar a correspondência entre os marcadores que aparecem nas 3 imagens de vídeo. Individualizar a correspondência entre os marcadores que aparecem nas 3 imagens de vídeo. Reduzir o campo de busca dos marcadores dentro da imagem em cada câmera. Reduzir o campo de busca dos marcadores dentro da imagem em cada câmera. Dissertação de Mestrado

25 Amostra para Calcular a Matriz Fundamental Se precisou capturar uma amostra de pontos. Esta amostra foi testada entre 3000 a Dissertação de Mestrado O método utilizado para o calculo foi o Algoritmo de RANSAC. Pivô

26 A Matriz Fundamental O calculo da matriz fundamental duas a duas câmeras. Ela permitira relacionar a geometria projetiva intrínseca de duas vistas capturadas desde diferentes câmeras. Dissertação de Mestrado

27 Estratégia de Correlação A estratégia se baseia em eleger uma das 3 câmeras como sendo a câmera pivô. Dissertação de Mestrado A partir da câmera de pivô se identificará os marcadores que serão a base da correlação com as outras imagens de vídeo.

28 Estratégia de Correlação Usando as matrizes fundamentais achadas entre a câmera pivô e as outras câmeras, se projeta o ponto de referência, achado para cada marcador da câmera pivô, sobre a imagem das câmeras subordinadas a câmera pivô, esta projeção se visualiza como uma linha sobreposta na imagem das câmeras subordinadas. Dissertação de Mestrado

29 Resultado da Estratégia de Correlação Este resultado é o caso ideal, mas temos casos especiais onde a correlação não é tão notória. Dissertação de Mestrado

30 Casos Especiais de Correlação Caso onde dois marcadores caem sobre uma mesma linha. Dissertação de Mestrado

31 Casos Especiais de Correlação Caso onde tem oclusão e dois marcadores se visualizam como um único marcador. Dissertação de Mestrado

32 Possíveis Soluções: Casos Especiais Para o primeiro caso, a solução é considerar todos os marcadores que caem numa mesma linha epipolar como candidatos momentâneos e na etapa de reconstrução 3D fazer o descarte dos que estejam errados. Para a segundo caso, uma opção foi descartar a informação da câmera que apresenta o caso de oclusão, e só trabalhar com a informação das câmeras restantes. Em caso a câmera pivô seja a que apresenta o caso de oclusão, se escolhe outra câmera onde se tenham identificado o número de marcadores rastreados e se considera ela como pivô. Dissertação de Mestrado

33 Reconstrução 3D dos Marcadores A partir da correlação dos marcadores, se utilizará esta informação para obter a posição 3D de cada marcador. Dissertação de Mestrado

34 Reconstrução A reconstrução será feita em relação as coordenadas de câmera da Câmera Pivô. Dissertação de Mestrado OlOl x cl y cl z cl OrOr x cr y cr z cr PlPl plpl prpr PrPr R1R1 T1T1 P pivô T2T2 R2R2 y pivô x pivô z pivô O pivô

35 O Método de Reconstrução O método de reconstrução se baseia em criar um sistema de equações, duas a duas câmeras, com a seguinte informação: Dissertação de Mestrado

36 O Método de Reconstrução Então temos duas equações que representam o mesmo ponto 3D em coordenadas da câmera da esquerda expressado da seguinte forma: Dissertação de Mestrado Onde P l é a matriz que leva um ponto em coordenadas da câmera da esquerda para coordenadas do plano da imagem da esquerda (Matriz de parâmetros extrínsecos). E P r é a matriz que levaria primeiro um ponto em coordenadas da câmera da esquerda e logo levar este ponto para coordenadas na imagem de direita.

37 O Método de Reconstrução Com este artifício podemos achar a coordenada do ponto 3D da câmera esquerda que é o dado comum e desconhecido nestas duas equações, assim podemos chegar a: Dissertação de Mestrado Onde resolvendo para cada fila podemos criar a seguinte sistema equações expresso como um sistema Ax = 0 :

38 Resultado da Reconstrução O resultado da reconstrução será o valor da coordenada 3D de cada marcador expresso no sistema de coordenadas da câmera Pivô, a qual pode ser transformada em coordenadas 3D do mundo em milímetros. Dissertação de Mestrado

39 Características do grupo de marcadores Após a reconstrução é importante definir as características físicas que definam o grupo de marcadores como um objeto só, isto nos permitira depois procurar esta forma entre as possíveis reconstrução em casos especiais. Uma característica usada é conhecer a distancia entre os marcadores em milímetros. Dissertação de Mestrado

40 Casos Especiais Como se definiu na etapa de correlação, no caso onde se tem marcadores que caem sobre uma mesma linha epipolar traz como conseqüência a reconstrução de marcadores errados. Dissertação de Mestrado

41 Casos Especiais É assim que se utilizará as características do grupos de marcadores para descartar os marcadores errados. Dissertação de Mestrado

42 Casos Especiais Como resultado teremos só um conjunto de marcadores com as posições 3D corretas e que cumpre com as características físicas definidas para o grupo de marcadores. Dissertação de Mestrado

43 Extração dos 6 Graus de Liberdade Com a identificação e reconstrução do grupo de marcadores como um objeto único, podemos começar o processo de extração dos 6 graus de liberdade. 3 Graus de liberdade, da interpretação de movimentos de translação dentro do volume da caixa. 3 Graus de liberdade, da interpretação de movimentos de translação dentro do volume da caixa. 3 Graus de liberdade, da interpretação de movimentos de rotação como giros que faz o plano triangular definido pelos marcadores. 3 Graus de liberdade, da interpretação de movimentos de rotação como giros que faz o plano triangular definido pelos marcadores. Dissertação de Mestrado

44 Analogia com um dispositivo conhecido Um dispositivo que também utiliza a extração dos 6 graus de liberdade para emitir eventos é o Spaceball. Dissertação de Mestrado

45 Analogia com um dispositivo conhecido As translações e rotações se capturam a partir da movimentação de um elemento base desde uma posição inicial pre-definida. Dissertação de Mestrado

46 Extração das Translações Para interpretar as sinais de translação se definiu a uma posição inicial dentro da espaço de rastreamento do mundo e dependendo da translação se emitem deltas de translação no eixo correspondente: ( δX – largura, δY – altura, δZ – profundidade) Dissertação de Mestrado

47 Extração das Rotações Para interpretar as sinais de rotação se definiu também uma posição inicial para a qual se define um quaternio inicial. Em cada instante se calcula o quaternio que representa a posição atual dos marcadores. A diferença entre estes quaternios será utilizada como nosso deltas de rotação. Dissertação de Mestrado Quaternio InicialQuaternio Atual

48 Resultado da Extração das Rotações Para testar a correta identificação dos quaternios que reapresentam a rotação do conjunto de marcadores, inicialmente se inseriu nas imagens de vídeo um objeto virtual que acompanha os movimentos de nosso marcadores. Dissertação de Mestrado

49 Aplicações de Teste PINTOR 3D Dissertação de Mestrado BRAÇO ROBÔ VIRTUAL

50 Aplicações de Teste NAVEGAÇÃO COM UM ROBÔ SUBMARINO Dissertação de Mestrado

51 Conclusões Mostrar que é possível construir um dispositivo de rastreamento óptico barato e composto de hardware comum, como são as câmeras web. Mostrar a adaptabilidade que o dispositivo pode ter para comportar-se como um dispositivo de entrada, ao qual é possível adicionar e relacionar diferentes tipos de eventos. O funcionamento do dispositivo foi orientado mais a um contexto qualitativo e de valorização da adaptação do usuário às novas características de interação que o dispositivo lhe oferece. Dissertação de Mestrado

52 Trabalhos Futuros Melhorar o hardware como usar câmeras de maior resolução e campo de visão. Incrementar o número de padrões definidos pelos marcadores a serem rastreados dentro de um mesmo espaço de rastreamento e talvez utilizar as duas mãos do usuário para a interação. Testar novos algoritmos para cada etapa do processo de rastreamento. Estudar e analisar que tipo de técnicas de interação 3D podem se utilizar com nosso dispositivo. Dissertação de Mestrado

53 Perguntas ? Dissertação de Mestrado

54 Fim Thanks god.


Carregar ppt "Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza."

Apresentações semelhantes


Anúncios Google