Dissertação de Mestrado

Apresentação em tema: "Dissertação de Mestrado"— Transcrição da apresentação:

1 Dissertação de Mestrado
Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Dissertação de Mestrado Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo

2 Dissertação de Mestrado
Motivação Tem se dispositivos de entrada usados para permitir ao usuário uma interação com um cenário virtual. Os dispositivos estão baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas, inerciais e híbridas.

3 Dissertação de Mestrado
Motivação Procura se um dispositivo que permita melhorar a flexibilidade em referência aos movimentos naturais que o usuário quisera fazer. Propõe se vários dispositivos de interação que pelo alto custo foram confinados a laboratórios de pesquisa especializada com alto nível de investimento.

4 Dissertação de Mestrado
Objetivo Construção e implementação de um dispositivo experimental de rastreamento óptico orientado a extrair os seis graus de liberdade da movimentação feita por um conjunto de marcadores esféricos. A partir da extração dos seis graus de liberdade, adaptar o dispositivo experimental para emitir eventos que são interpretados pelo sistema como sinais para controlar objetos ou navegar dentro de aplicações desktop 3D de realidade virtual. O dispositivo proposto surja como uma nova opção de dispositivo de interação que é fácil de montar e tem um baixo custo de construção.

5 Dispositivos de Rastreamento
Dissertação de Mestrado Dispositivos de Rastreamento Dispositivos de rastreamento baseados em diferentes tecnologias como: Magnéticos. Mecânicos. Sonoros. Inerciais. Ópticos. Híbridos.

6 Dissertação de Mestrado
Rastreamento Óptico O funcionamento se baseia na captura pelas câmeras dos emissores de luz ou objetos revestidos de material retrorreflexivo ou padrões planares pre-definidos que, após a aplicação de técnicas de visão computacional sobre as imagens capturadas, dão como resultado a posição e orientação dos objetos rastreados no espaço 3D.

7 Rastreamento Óptico Tem se duas configurações:
Dissertação de Mestrado Rastreamento Óptico Tem se duas configurações: A fonte de luz, ou os marcadores retrorreflexivos, estão localizados no objeto rastreado e as câmeras estão posicionadas no espaço de rastreamento (Outside-in). Os marcadores estão dispersas no espaço de rastreamento definindo eixos 2D, no teto ou nas paredes, e as câmeras ficam no objeto rastreado (Inside-out).

8 O Dispositivo de Rastreamento Óptico Proposto
Dissertação de Mestrado O Dispositivo de Rastreamento Óptico Proposto Descrição dos componentes e características físicas do dispositivo. Descrição da implementação do processo de rastreamento óptico. Extração dos 6 graus de liberdade do rastreamento dos marcadores.

9 Equipamento Utilizado
Dissertação de Mestrado Equipamento Utilizado Os componentes são: 3 câmeras web. Uma caixa de madeira, pintada de cor preta, com dimensões de 0.5×0.5×0.5 m. Um suporte móvel de alumínio, que serve de base para as câmeras web. Duas lâmpadas, colocadas nos extremos laterais da caixa de madeira. Bolas de isopor branco utilizadas como marcadores.

10 Características Físicas em Comum
Dissertação de Mestrado Características Físicas em Comum Uma área física bem definida, onde fica concentrado o campo de visão das câmeras e onde se faz o rastreamento dos marcadores definidos. Um conjunto de câmeras, que são colocadas a uma altura moderada da área de rastreamento para não atrapalhar a movimentação que o usuário possa fazer dentro desse espaço. Um conjunto de marcadores, que na maioria das vezes são esféricos, e que serão os alvos no processo de rastreamento.

11 Processo de Rastreamento
Dissertação de Mestrado Processo de Rastreamento O processo de rastreamento óptico é composto por vários subprocessos, cujos tópicos chave são: Captura e processamento da imagem de vídeo. Extração de marcadores. Calibração das câmeras web. Correlação de marcadores. Reconstrução 3D dos marcadores.

12 Dissertação de Mestrado
Captura das Imagens O primeiro passo é a captura das imagens de vídeo dos dispositivos. 1 2 3

13 Processamento das Imagens
Dissertação de Mestrado Processamento das Imagens Aplicação de filtros sobre as imagens com a finalidade de deixar só a informação relevante para nossa implementação. Gray Scale e Gaussiano Threshold

14 Reconhecimento de Áreas de Interesse
Dissertação de Mestrado Reconhecimento de Áreas de Interesse A partir das coordenadas dos pixels que formam o contorno das áreas circulares, se calcula a media aritmética como sendo o centro delas. Este será o ponto de referência utilizado.

15 Calibração das Câmeras
Dissertação de Mestrado Calibração das Câmeras O objetivo é encontrar uma medida de relacionamento entre o mundo 3D, ou seja, o espaço físico que é visto pela câmera, e o plano da imagem 2D que nós vemos na tela do computador visualizando o espaço físico capturado.

16 Padrão para Calibração
Dissertação de Mestrado Padrão para Calibração Se calibrara as câmeras a partir dos pontos de referência. Usando o reconhecimento das áreas de interesse propomos nosso padrão de calibração.

17 Dissertação de Mestrado
Método de Calibração Após a captura dos pontos do nosso padrão, cada câmera será calibrada utilizando este mesmo conjunto de pontos de referência. Se utilizou o método TSAI não – coplanar.

18 Matriz Parâmetros Extrínsecos
Dissertação de Mestrado Matriz Parâmetros Extrínsecos Como resultado da calibração conseguimos calcular a matriz de rotação “R” e o vetor de translação “T” que nos permitem levar coordenadas do mundo a coordenadas do espaço da câmera (Parâmetros extrínsecos).

19 Matriz Parâmetros Intrínsecos
Dissertação de Mestrado Matriz Parâmetros Intrínsecos Esta matriz permite levar pontos do espaço da câmera a coordenadas na imagem. Os parâmetros intrínsecos são : distancia focal ‘f ‘, Centro da imagem em pixels Ox e Oy,tamanho efetivo em mm. do pixel dx e dy.

20 Resultado da Calibração
Dissertação de Mestrado Resultado da Calibração O resultado foi testado projetando os eixos ortogonais do mundo sobre na mesmas imagens de vídeo capturadas.

21 Detecção de Marcadores
Dissertação de Mestrado Detecção de Marcadores Aqui aplicaremos os filtros sobre as imagens para extrair a informação que precisamos sobre os marcadores. Se utilizou a extração de contornos para a detecção dos marcadores.

22 Correlação dos Marcadores
Dissertação de Mestrado Correlação dos Marcadores Uma vez detectados os marcadores , se fará a correlação dos mesmos entre as 3 imagens capturadas. Se utilizara a geometria epipolar para implementação desta etapa. Caso Intuitivo

23 Dissertação de Mestrado
Múltipla Correlação Um caso mais complexo é quando temos mais de um marcador nas imagens das câmeras web, e com isto temos que fazer uma correlação entre os “n” marcadores detectados nas câmeras. Precisa ter uma ferramenta de correlação : Uso da Geometria Epipolar, uso das matrizes fundamentais.

24 Objetivo de uso da Geometria Epipolar
Dissertação de Mestrado Objetivo de uso da Geometria Epipolar A geometria epipolar nos permite ter uma ferramenta com as seguintes vantagens: Individualizar a correspondência entre os marcadores que aparecem nas 3 imagens de vídeo. Reduzir o campo de busca dos marcadores dentro da imagem em cada câmera.

25 Amostra para Calcular a Matriz Fundamental
Dissertação de Mestrado Amostra para Calcular a Matriz Fundamental Se precisou capturar uma amostra de pontos. Esta amostra foi testada entre 3000 a 8000. Pivô O método utilizado para o calculo foi o Algoritmo de RANSAC.

26 Dissertação de Mestrado
A Matriz Fundamental O calculo da matriz fundamental duas a duas câmeras. Ela permitira relacionar a geometria projetiva intrínseca de duas vistas capturadas desde diferentes câmeras.

27 Estratégia de Correlação
Dissertação de Mestrado Estratégia de Correlação A estratégia se baseia em eleger uma das 3 câmeras como sendo a câmera pivô. A partir da câmera de pivô se identificará os marcadores que serão a base da correlação com as outras imagens de vídeo.

28 Estratégia de Correlação
Dissertação de Mestrado Estratégia de Correlação Usando as matrizes fundamentais achadas entre a câmera pivô e as outras câmeras, se projeta o ponto de referência, achado para cada marcador da câmera pivô, sobre a imagem das câmeras subordinadas a câmera pivô, esta projeção se visualiza como uma linha sobreposta na imagem das câmeras subordinadas.

29 Resultado da Estratégia de Correlação
Dissertação de Mestrado Resultado da Estratégia de Correlação Este resultado é o caso ideal, mas temos casos especiais onde a correlação não é tão notória.

30 Casos Especiais de Correlação
Dissertação de Mestrado Casos Especiais de Correlação Caso onde dois marcadores caem sobre uma mesma linha.

31 Casos Especiais de Correlação
Dissertação de Mestrado Casos Especiais de Correlação Caso onde tem oclusão e dois marcadores se visualizam como um único marcador.

32 Possíveis Soluções: Casos Especiais
Dissertação de Mestrado Possíveis Soluções: Casos Especiais Para o primeiro caso, a solução é considerar todos os marcadores que caem numa mesma linha epipolar como candidatos momentâneos e na etapa de reconstrução 3D fazer o descarte dos que estejam errados. Para a segundo caso, uma opção foi descartar a informação da câmera que apresenta o caso de oclusão, e só trabalhar com a informação das câmeras restantes. Em caso a câmera pivô seja a que apresenta o caso de oclusão, se escolhe outra câmera onde se tenham identificado o número de marcadores rastreados e se considera ela como pivô.

33 Reconstrução 3D dos Marcadores
Dissertação de Mestrado Reconstrução 3D dos Marcadores A partir da correlação dos marcadores , se utilizará esta informação para obter a posição 3D de cada marcador.

34 Dissertação de Mestrado
Reconstrução A reconstrução será feita em relação as coordenadas de câmera da Câmera Pivô. Ol xcl ycl zcl Or xcr ycr zcr Pl pl pr Pr R1 T1 Ppivô T2 R2 ypivô xpivô zpivô Opivô

35 O Método de Reconstrução
Dissertação de Mestrado O Método de Reconstrução O método de reconstrução se baseia em criar um sistema de equações, duas a duas câmeras, com a seguinte informação:

36 O Método de Reconstrução
Dissertação de Mestrado O Método de Reconstrução Então temos duas equações que representam o mesmo ponto 3D em coordenadas da câmera da esquerda expressado da seguinte forma: Onde Pl é a matriz que leva um ponto em coordenadas da câmera da esquerda para coordenadas do plano da imagem da esquerda (Matriz de parâmetros extrínsecos). E Pr é a matriz que levaria primeiro um ponto em coordenadas da câmera da esquerda e logo levar este ponto para coordenadas na imagem de direita.

37 O Método de Reconstrução
Dissertação de Mestrado O Método de Reconstrução Com este artifício podemos achar a coordenada do ponto 3D da câmera esquerda que é o dado comum e desconhecido nestas duas equações, assim podemos chegar a: Onde resolvendo para cada fila podemos criar a seguinte sistema equações expresso como um sistema Ax = 0 :

38 Resultado da Reconstrução
Dissertação de Mestrado Resultado da Reconstrução O resultado da reconstrução será o valor da coordenada 3D de cada marcador expresso no sistema de coordenadas da câmera Pivô, a qual pode ser transformada em coordenadas 3D do mundo em milímetros.

39 Características do grupo de marcadores
Dissertação de Mestrado Características do grupo de marcadores Após a reconstrução é importante definir as características físicas que definam o grupo de marcadores como um objeto só, isto nos permitira depois procurar esta forma entre as possíveis reconstrução em casos especiais. Uma característica usada é conhecer a distancia entre os marcadores em milímetros.

40 Dissertação de Mestrado
Casos Especiais Como se definiu na etapa de correlação, no caso onde se tem marcadores que caem sobre uma mesma linha epipolar traz como conseqüência a reconstrução de marcadores errados.

41 Dissertação de Mestrado
Casos Especiais É assim que se utilizará as características do grupos de marcadores para descartar os marcadores errados.

42 Dissertação de Mestrado
Casos Especiais Como resultado teremos só um conjunto de marcadores com as posições 3D corretas e que cumpre com as características físicas definidas para o grupo de marcadores.

43 Extração dos 6 Graus de Liberdade
Dissertação de Mestrado Extração dos 6 Graus de Liberdade Com a identificação e reconstrução do grupo de marcadores como um objeto único, podemos começar o processo de extração dos 6 graus de liberdade. 3 Graus de liberdade, da interpretação de movimentos de translação dentro do volume da caixa. 3 Graus de liberdade, da interpretação de movimentos de rotação como giros que faz o plano triangular definido pelos marcadores.

44 Analogia com um dispositivo conhecido
Dissertação de Mestrado Analogia com um dispositivo conhecido Um dispositivo que também utiliza a extração dos 6 graus de liberdade para emitir eventos é o Spaceball.

45 Analogia com um dispositivo conhecido
Dissertação de Mestrado Analogia com um dispositivo conhecido As translações e rotações se capturam a partir da movimentação de um elemento base desde uma posição inicial pre-definida.

46 Extração das Translações
Dissertação de Mestrado Extração das Translações Para interpretar as sinais de translação se definiu a uma posição inicial dentro da espaço de rastreamento do mundo e dependendo da translação se emitem deltas de translação no eixo correspondente: ( δX – largura, δY – altura, δZ – profundidade)

47 Dissertação de Mestrado
Extração das Rotações Para interpretar as sinais de rotação se definiu também uma posição inicial para a qual se define um quaternio inicial. Em cada instante se calcula o quaternio que representa a posição atual dos marcadores. A diferença entre estes quaternios será utilizada como nosso deltas de rotação. Quaternio Inicial Quaternio Atual

48 Resultado da Extração das Rotações
Dissertação de Mestrado Resultado da Extração das Rotações Para testar a correta identificação dos quaternios que reapresentam a rotação do conjunto de marcadores, inicialmente se inseriu nas imagens de vídeo um objeto virtual que acompanha os movimentos de nosso marcadores.

49 Aplicações de Teste PINTOR 3D BRAÇO ROBÔ VIRTUAL
Dissertação de Mestrado Aplicações de Teste PINTOR 3D BRAÇO ROBÔ VIRTUAL

50 Aplicações de Teste NAVEGAÇÃO COM UM ROBÔ SUBMARINO
Dissertação de Mestrado Aplicações de Teste NAVEGAÇÃO COM UM ROBÔ SUBMARINO

51 Dissertação de Mestrado
Conclusões Mostrar que é possível construir um dispositivo de rastreamento óptico barato e composto de hardware comum, como são as câmeras web. Mostrar a adaptabilidade que o dispositivo pode ter para comportar-se como um dispositivo de entrada, ao qual é possível adicionar e relacionar diferentes tipos de eventos. O funcionamento do dispositivo foi orientado mais a um contexto qualitativo e de valorização da adaptação do usuário às novas características de interação que o dispositivo lhe oferece.

52 Dissertação de Mestrado
Trabalhos Futuros Melhorar o hardware como usar câmeras de maior resolução e campo de visão. Incrementar o número de padrões definidos pelos marcadores a serem rastreados dentro de um mesmo espaço de rastreamento e talvez utilizar as duas mãos do usuário para a interação. Testar novos algoritmos para cada etapa do processo de rastreamento. Estudar e analisar que tipo de técnicas de interação 3D podem se utilizar com nosso dispositivo.

53 Dissertação de Mestrado
Perguntas ?

54 Dissertação de Mestrado
Fim Thanks god.