Sistemas de Rastreamento de Baixo Custo para Desktops Tecgraf (Grupo de Tecnologia em Computação Gráfica) Depto. de Informática, PUC-Rio Alberto Raposo,

Apresentação em tema: "Sistemas de Rastreamento de Baixo Custo para Desktops Tecgraf (Grupo de Tecnologia em Computação Gráfica) Depto. de Informática, PUC-Rio Alberto Raposo,"— Transcrição da apresentação:

1 Sistemas de Rastreamento de Baixo Custo para Desktops Tecgraf (Grupo de Tecnologia em Computação Gráfica) Depto. de Informática, PUC-Rio Alberto Raposo, Manuel Loaiza, Gustavo Wagner e Thiago Bastos Julho, 2005

2 Dispositivo de Rastreamento Óptico O usuário movimenta o conjunto de marcadores no ambiente de trabalho. A movimentação dos marcadores é rastreada, para isto se faz a reconstrução 3D de cada marcador individualmente. Imagem do Dispositivo

3 Dispositivo de Rastreamento Óptico O rastreamento também pode ser feitos com os marcadores colocados na mão do usuário. A caixa esta desenhada para poder suportar a movimentação livre da mão do usuário. Modo de uso do Dispositivo

4 Processo de Rastreamento O processo de rastreamento segue os seguintes passos: 1.Extração de um ponto 2D representando a cada marcador nas imagens. 2.Calibração das câmeras utilizadas. 3.Correlação dos pontos 2D que ficam em cada imagem. 4.Reconstrução da posição 3D para cada marcador. 5.Adaptação de eventos em base a extração dos 6DOF da movimentação do conjunto de marcadores.

5 Extração dos pontos 2D representando aos marcadores (1) O contraste entre os marcadores e o fundo ajuda a identificar eles no ambiente de trabalho. Se binariza a imagem e logo para cada área circular se extrai o centro de cada área para ser o ponto 2D que utilizaremos no processo para representar ele.

6 Calibração das câmeras (2) Captura do padrão de calibração. Processo de calibração para cada câmera utilizando o mesmo padrão de pontos. A calibração foi feita utilizando o método TSai - não planar.

7 Correlação dos pontos 2D (3) Uma vez identificados os pontos 2D que representam os marcadores temos que correlacionar eles. Para cada ponto na câmera pivô identificar o mesmo ponto nas outras imagens. Para a correlação se utiliza algumas características da geometria epipolar como método de correlação.

8 Reconstrução da posição 3D para cada marcador (4) Com os pontos 2D correlacionados se implementa o processo de reconstrução 3D para cada marcador. Para a reconstrução se utiliza como referencia características geométricas definidas pelo conjunto de marcadores como um objeto só.

9 Reconstrução da posição 3D para cada marcador (4) Uma vez reconstruídos os pontos podemos analisar eles como um objeto só rastrear sua movimentação podendo extrair os 6 DOF que estão definidos pelos movimentos de translação e rotação que realizam no ambiente de trabalho.

10 Adaptação de eventos (5) Finalmente em base a extração dos 6DOF, da movimentação do conjunto de marcadores, se pode adaptar eventos que nos permitam controlar, navegar ou selecionar objetos dentro de uma aplicação gráfica.

11 Aplicações de Teste Algumas aplicações de teste foram: Pintor 3D. Braço robô. ROV.

12 Dispositivo de Câmera Livre O usuário movimenta a câmera como se ela fosse o objeto virtual A movimentação é gerada a partir da captura de imagens de padrões posicionados no ambiente de trabalho Imagem do ROV

13 Processo de Rastreamento O processo de rastreamento segue os seguintes passos: 1.Identificar os padrões na imagem capturada 2.Calcular a posição da câmera a partir das coordenadas capturadas de cada padrão 3.Filtrar a posição capturada para remover ruído 4.Enviar a movimentação realizada para a aplicação

14 Identificando os Padrões na Imagem Capturada (1) A imagem é binarizada, com um filtro de Threshold. Quadriláteros são procurados nas bordas de cada uma das regiões encontradas.

15 Identificando os Padrões na Imagem Capturada (2) Todos os quadriláteros da cena são escolhidos como possíveis padrões A identificação dos padrões reais é feita pela comparação de pixels da imagem capturada com imagens pré-armazenadas de cada padrão Além de permitir distinguir entre vários padrões, esse método também nos dá a orientação de cada um deles Comparação pixel-a-pixel

16 Calculando a Posição da Câmera A posição da câmera com relação a cada padrão encontrado pode ser calculada usando-se o método TSAI coplanar Esse método trabalha em cima de um mínimo de 8 pontos de calibração, posicionados num mesmo plano Foram testadas 3 métodos para gerar mais que 8 pontos de calibração: –Usar todos os pontos da imagem, 16 no total (os pontos em cinza são as interseções dos segmentos formados pelos outros pontos) –Usar os 8 pontos extraídos dos 2 quadrados encontrados (pontos em verde e amarelo) –Usar apenas os 4 pontos da borda (em verde) e gerar mais pontos artificialmente, através de uma matriz de homografia (esse método apresentou os melhores resultados, provavelmente devido a ruído na captura)

17 Filtrando a Posição da Câmera A posição encontrada é filtrada antes de ser enviada para a aplicação com um filtro de Kalman, para eliminar as imprecisões geradas no processo de captura

18 Enviando a Movimentação para a Aplicação A movimentação gerada é enviada a aplicação, que está sendo gerenciada pelo ViRAL Ao invés de enviarmos posições absolutas relativas ao padrão, enviamos incrementos, de acordo com a movimentação da câmera Isso permite que, obstruindo-se a sua lente, a câmera seja movimentada de volta ao meio da área de trabalho, sem gerar movimentos na tela