Juiz Virtual: uma aplicação de modelagem baseada em imagens Paulo Cezar P. Carvalho (IMPA) Flávio Szenberg (PUC-Rio) Marcelo Gattass (PUC-Rio)

Apresentação em tema: "Juiz Virtual: uma aplicação de modelagem baseada em imagens Paulo Cezar P. Carvalho (IMPA) Flávio Szenberg (PUC-Rio) Marcelo Gattass (PUC-Rio)"— Transcrição da apresentação:

1 Juiz Virtual: uma aplicação de modelagem baseada em imagens Paulo Cezar P. Carvalho (IMPA) Flávio Szenberg (PUC-Rio) Marcelo Gattass (PUC-Rio)

2 Imagens Modelos Visão Computacional Computação Gráfica

3 Imagens Modelos Visão Computacional Computação Gráfica Câmera Sintética Geometria e Textura

4 Modelagem Baseada em Imagens ImagensModelosImagens Posição de câmera Posição, geometria, textura dos objetos Câmera sintética Novos objetos (sintéticos)

5 Image based modeling Image based rendering Produz descrição 3D dos objetos Visualização com câmeras arbitrárias Visualização direta- mente a partir de um conjunto de imagens Câmeras restritas

6 Modelagem Baseada em Imagens ImagensModelosImagens Posição de câmera Posição, geometria, textura dos objetos Câmera sintética, em geral na mesma posição Novos objetos (sintéticos) na frente ou no fundo da cena Visualização

7 Exemplos de uso de image based rendering QuickTime VR –Usa fotos panorâmicas de ambientes –Usuário pode olhar para pontos diferentes e se aproximar ou afastar da cena (na verdade, é só um efeito de zoom)

8 Exemplos de uso de image based rendering Projeto Visorama (IMPA/ECO-UFRJ) –hardware especial –realidade virtual –aplicações turismo educação

9 Exemplos de image based modeling Restituição de aerofotos (visão estereo) Análise quantitativa de imagens médicas (extração de medidas de comprimento e volume) Tira-teima e similares.

10 Hípóteses deste trabalho Modelagem baseada em uma única imagem Imagem contém pontos de referência cujas coordenadas são conhecidas Objetos têm forma conhecida a priori; portanto, basta determinar sua localização na cena através dos pontos de objeto Usuário participa do procedimento, indicando pontos de referência e de objetos

11 ponto de referência (conhecido)ponto de objeto (a determinar) Imagem inicial

12 Sobrepondo objetos sintéticos

13 Imagem sintética

14 De um outro ângulo

15 Outras formulações possíveis (não abordadas) Uso de imagens múltiplas da mesma cena. Uso de uma seqüência de imagens da mesma cena –por exemplo, explorando informações previamente obtidas, como posição da câmera Reconhecimento automático de pontos de referência e de objetos

16 Da imagem para o modelo determinação (calibração) da câmera –onde está? –voltada para onde? –qual o ângulo de abertura? determinação dos objetos (jogadores, bola, juiz) –onde estão?

17 Calibração da câmera Dada uma amostra de N pontos, de coordenadas conhecidas (x i, y i, z i ), e suas respectivas localizações (u i, v i ) na imagem, encontrar uma câmera compatível com essa informação.

18 Dados para calibração

19 Modelo de Câmera O modelo mais simples: pin-hole

20 Modelo de Câmera Equivalente a projeção perspectiva

21 Projeção perspectiva X Y Z X Y M = (X,Y,Z) m = (X, Y) f Semelhança de triângulos : X = fX/Z, Y= fY/Z

22 No entanto... As coordenadas dos pontos de referência são descritas em um sistema de coordenadas não relacionado à câmera As coordenadas de suas respectivas imagens são dadas em pixels

23 No entanto... As coordenadas dos pontos de referência são descritas em um sistema de coordenadas não relacionado à câmera As coordenadas de suas respectivas imagens são dadas em pixels Estabelecer a equação da câmera exige considerar 4 sistemas de coordenadas.

24 Quatro sistemas de coordenadas X Y Z X Y M = (x,y, z) m x y z u v (u,v)

25 Quatro sistemas, três transformações Mundo Câmera (rotação + translação) Câmera Plano de Projeção (projeção perspectiva) Plano de Projeção Imagem (escala + translação)

26 Coordenadas homogêneas É conveniente usar coordenadas homogêneas para descrever essas transformações (x, y, z) {(wx, wy, wz, w) | w 0} = [wx, wy, wz, w] [x, y, z, w] (x/w, y/w, z/w)

27 Do mundo para a câmera (x,y,z) (X,Y,Z) orientação dos eixos translação da origem

28 Projeção perspectiva (X,Y,Z) (X,Y)

29 Da projeção para a imagem (X, Y) (u, v) fatores de escala translação da origem

30 Compondo as transformações (multiplicando as matrizes) ponto na imagem ponto em 3D

31 De volta à calibração O problema é o de encontrar r 1, r 2, r 3, t x, t y, t z, u, v, u 0, v 0 (10 parâmetros independentes) Cada par (x i, y i, z i ) - (u i, v i ) fornece duas equações (não lineares) envolvendo estes parâmetros São necessários, portanto, pelo menos cinco pontos

32 De volta à calibração (cont.) Para bons resultados, normalmente se utiliza um número maior de pontos de referência. Neste caso, o sistema não pode ser resolvido exatamente. Procura-se então encontrar o conjunto de parâmetros que minimize o erro cometido. otimização não linear (problema difícil)

33 Uma alternativa mais simples matriz de projeção genérica

34 Vantagens e desvantagens O problema de calibração recai na resolução de um sistema de equações lineares (ou de um problema de mínimos quadrados lineares). O resultado do processo não é umaverdadeira câmera

35 Câmera falsa

36 Solução para o problema Adotar um segundo passo, no qual afalsacâmera Q é transformada em uma câmera verdadeira. A maior parte dos parâmetros da câmeraverdadeira são determinados pela câmera falsa.

37 Parâmetros fornecidos pelafalsa câmera Q posição da câmera –obtida fazendo u=0, v=0, w=0 e resolvendo um sistema de equações

38 Parâmetros fornecidos pelafalsa câmera Q (cont) direção ortogonal ao plano de projeção –obtida encontrando o ponto do campo cuja imagem por Q é o centro da imagem

39 Parâmetros da câmera verdadeira Conhecidos r 1, t x, t y, t z, u 0, v 0 Desconhecidos: r 2, r 3, u, v Graus de liberdade: 3 ou 2 (se admitirmos u = v = )

40 Determinação dos parâmetros desconhecidos Parâmetros a determinar q 2 = r 2, q 3 = r 3 Satisfazem q 2. r 1 = 0, q 3 = r 1 q 2 Problema linear de mínimos quadrados a duas variáveis (duas componentes de q 2, por exemplo).

41 Ajustando os parâmetros comparar com

42 Após o segundo passo

43 Da imagem para o modelo determinação (calibração) da câmera –onde está? –voltada para onde? –qual é sua abertura? determinação dos objetos (jogadores, bola, juiz) –onde estão?

44 Posicionando os objetos objetos sempre localizados através de sua posição (x, y, 0) no campo, obtida resolvendo: posição do pédo jogador

45 Posicionando os objetos (cont) Uma vez conhecida a posição de cada objeto, modelos previamente preparados destes objetos podem ser posicionados corretamente. Da mesma forma, é possível determinar a distância entre dois pontos do campo através de suas imagens.

46 Demonstração do aplicativo

47 Conclusões Método eficiente e relativamente simples de calibração de câmera. Bons resultados apesar do modelo simples de câmera. Utiliza somente uma imagem Não exige nenhuma informação a priori sobre a câmera

48 Em breve Site na Internet contendo o artigo, o aplicativo, e imagens para teste. (possivelmente com imagens dos jogos da Copa) Consultar a home-page dos autores: http://www.impa.br/~pcezar/ http://www.tecgraf.puc-rio.br/~szenberg/