A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Apresentações semelhantes


Apresentação em tema: "Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática."— Transcrição da apresentação:

1 Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática

2 Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem - Geração de Malhas Atualizações Resultados Referências Departamento de Informática

3 Algumas aplicações para Foto 3D: Museus virtuais Replicas físicas Medicina Cálculos geométricos Arquivos permanente E-commerce Moda Etc… Departamento de Informática

4 Algumas aplicações para Foto 3D: Entretenimento / Moda / Medicina Departamento de Informática

5 Algumas aplicações para Foto 3D: Stanford University Digital Michelangelo, Departamento de Informática ITC - USC Parthenon,

6 Departamento de Informática

7 Reconstrução tridimensional Princípio: estereoscopia (visão binocular) Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço. Departamento de Informática

8 Modelagem e calibração de câmeras Modelagem Qual é a forma da função que associa a cada ponto do espaço sua posição na imagem? De que parâmetros depende?

9 Departamento de Informática Modelagem e calibração de câmeras Calibração Para uma câmera específica, quais são os valores destes parâmetros? Modelos de câmera - Câmera pin-hole equivalente - Deformação radial causada pelas lentes (modelo empírico) Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

10 Modelos de câmera Departamento de Informática

11 Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico) Departamento de Informática

12 Câmera pin-hole Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas? Departamento de Informática

13

14

15

16

17

18

19

20 Calibração de câmera Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera. Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem. Departamento de Informática

21 Calibração de câmeras Calibração estimação de parâmetros otimização Departamento de Informática

22 Resolvendo o problema de otimização Otimização não-linear Obtenção de uma boa solução inicial Utilização de um método iterativo para melhorar a solução obtida Departamento de Informática

23 Resolvendo o problema de otimização Otimização não-linear Obtenção de uma boa solução inicial – método de Tsai – método de Zhang(Não implementado) Utilização de um método iterativo para melhorar a solução obtida – método de Levenberg-Marquardt Departamento de Informática

24 Método de Tsai Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares Departamento de Informática

25 Método de Tsai

26 Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty Departamento de Informática

27 Método de Tsai Os valores de U1,..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

28 Método de Tsai Os valores de U1,..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

29 Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados. Departamento de Informática

30 Exemplo Departamento de Informática

31 Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema Departamento de Informática

32 Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração! Departamento de Informática

33 Calibração câmera-projetor -A idéia básica é projetar uma imagem conhecida e identificar as coordenadas dos pontos da cena em que determinados pontos desta imagem se projetam. -Utiliza a câmera que já foi calibrada. Departamento de Informática

34 Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração Departamento de Informática

35 Exemplo Departamento de Informática

36

37 Reconstrução no Espaço da Imagem: Baseado na reconstrução do objeto no espaço local do dispositivo. Consiste em três etapas: - Aquisição de retalhos da superfície do objeto; - Alinhamento de retalhos;e -Construção da superfície Departamento de Informática

38 Reconstrução no Espaço da Imagem: Estereoscopia e Triangulação O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena. A partir daí é realizada a triangulação e calculado a profundidade do ponto. Departamento de Informática

39 Reconstrução no Espaço da Imagem: Luz Estruturada Complexidade Departamento de Informática

40 Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

41 Reconstrução no Espaço da Imagem: Luz Estruturada Pipeline - Calibrar o par câmera/projetor; -Capturar as imagens do objeto com os padrões projetados; -Processar as imagens para correlacionar os pixels da câmera e do projetor; - Realizar a triangulação para recuperar a profundidade do pixel. Departamento de Informática

42 Reconstrução no Espaço da Imagem: Luz Estruturada Taxonomia Departamento de Informática

43 Reconstrução no Espaço da Imagem: Luz Estruturada A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados. Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor. O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada. Departamento de Informática

44 Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

45 Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Triangulação - Cálculo da distância de pontos visíveis do objeto em relação ao dispositivo de captura. Departamento de Informática

46 Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Departamento de Informática

47 Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Interseção no espaço da câmera: Departamento de Informática

48 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído. Departamento de Informática

49 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática conversão em meshes (scanning, triangulação) alinhamento (pair-wise registration) alinhamento global (multi-view registration) Modelo final

50 Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto. Suposição de uma 1º transformação relativa Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos

51 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles Departamento de Informática

52 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Como encontrar os pares de pontos correspondentes? Solução em Sistemas Inicias: definição por parte do utilizador (manual) correspondência de primitivas (features), assinaturas de superficies, etc. Departamento de Informática

53 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor transformação,.... Departamento de Informática

54 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos … e iterativamente encontrar e refinar o alinhamento –Iterated Closest Points (ICP) [Besl & McKay 92] O sistema converge se a suposição para 1ª transformação fôr suficientemente conhecida close enough ??? Departamento de Informática

55 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática Algoritmo ICP Original

56 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns: Departamento de Informática

57 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns: Departamento de Informática

58 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns: Departamento de Informática

59 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns: Departamento de Informática

60 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global -Quando o alinhamento aos pares é utilizado sequencialmente para alinhar um conjunto de retalhos, os erros se acumulam e o alinhamento global fica insatisfatório. -Intratável do ponto de vista de otimização. Departamento de Informática

61 Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global Solução baseada em diferentes heurísticas; Departamento de Informática

62 Registro Automático de Superfícies Usando Spin-Images Thales Vieira, Adelailson Peixoto (UFAL) Luiz Velho IMPA Departamento de Informática

63 Resumo: Registro e reconstrução de malhas a partir de scanner 3D. Motivação: Estimativa inicial de alinhamento das malhas no método ICP. Objetivo: Obtenção do alinhamento inicial de forma automática utilizando descritores spin image. Introdução Departamento de Informática

64 Introdução Modelagem é uma tarefa trabalhosa, com isso surgem os scanners 3D. Scanners 3D geram malhas utilizando o conceito de range images (valor dos pixels correspondente a dis- tância). A partir de range images é possível gerar as malhas triangulando seus pontos adjacentes. Departamento de Informática

65 Introdução Impossível gerar pontos de toda a superfície apenas de um ponto de vista, devido a oclusão. Necessário capturar várias range images. Range images geram malhas num sistema de coordenadas Local, então se faz necessário alinhar as malhas de acordo com um sistema de coordenadas global. Departamento de Informática

66 Problema: O problema de registro de superfícies consiste em determinar transformações que otimizam o alinhamento entre um conjunto de malhas que representam o mesmo objeto. Do ponto de vista matemático, dadas duas malhas m a e m b, onde o sistema de coordenadas m a é fixados como sistemas de coordenadas global, o problema consiste em encontrar o movimento rígido T. Departamento de Informática

67 Problema: Malhas do modelo da branca(IMPA) capturada de vários pontos de vista. Departamento de Informática

68 Problema: Registro de Superfícies Departamento de Informática

69 Não garante a convergência do erro global. Necessitam que as malhas tenham uma estimativa inicial do alinhamento. Algoritmo ICP resolve? Tem como resolver problema do alinhamento inicial ? Departamento de Informática

70 Propósito do Trabalho: Dado um conjunto de malhas que representam um determinado objeto, este trabalho apresenta uma estratégia de alinhar automaticamente todos os pares de malhas que possuem sobreposição, e gerar o modelo final. Departamento de Informática

71 Descritores Spin Images Os descritores spin-images (Johnson 1997) são imagens bidimensionais que descrevem propriedades globais da geometria de um objeto a partir de bases locais criadas em pontos orientados da superfície. Propriedade. Invariância por movimentos rígidos. Duas malhas extraídas de range images possuem spin-images semelhantes. Departamento de Informática

72 Descritores Spin-Images Considerando o problema de registro de superfícies, as spin- images se apresentam como boas candidatas para realizar a descrição de pontos das superfícies. Correspondência entre pontos tridimensionais pode ser feita através da comparação de imagens bidimensionais, pois pontos correspondentes tem spin-images semelhantes. Departamento de Informática

73 Descritores Spin-Images Spin-map Para a criação de spin-images, associa-se aos pontos da superfície o seu vetor normal. O vetor normal pode ser calculado como o vetor do plano que melhor se encaixa nos seus vizinhos. Departamento de Informática

74 Ponto p com normal n define um sistema de coordenadas local, usando o plano P tangente e a reta L, que passa por p e a paralela a n. são definidos pela distancia perpendicular a L e pela distancia ate o plano P(sistema de coordenadas cilíndricas). Spin-map Departamento de Informática

75 Spin-map Transformando pontos da superfície no sistema de coordenadas anterior, obtemos o spin-map. Essa aplicação projeta pontos da superfície em pontos bidimensionais, dado um ponto orientado O = (p; n). Portanto, um spin-map é uma aplicação de R³ em R², que mapeia: Departamento de Informática

76 Spin-images A imagem de uma aplicação spin-map é um conjunto de pontos bidimensionais, projetados a partir de pontos da superfície, que descreve a geometria do objeto. Problema: Não são ideais para realização de comparações, devido a variações de amostragem, visão e ruído. Exemplo falta de exatidão na posição entre vértices. Solução: Discretização da imagem utilizando Bins. Departamento de Informática

77 Spin-images Departamento de Informática

78 Parâmetros das Spin-images Tamanho dos bins Bins grandes podem tornar a descrição da superfície não muito clara. Bins pequenos podem não ser suficientes para anular os efeitos das posições individuais dos pontos. Medida utilizada foi de acordo como um múltiplo da resolução da malha, definida pela mediana dos comprimentos das arestas. Departamento de Informática

79

80 Parâmetros das Spin-images Largura da imagem Determina a quantidade de bins, ou pixels da imagem, na horizontal e na vertical. Denomina-se distância suporte o produto do tamanho dos bins pela largura da imagem. Departamento de Informática Problemas: Larguras muito baixas e muito altas.

81 Parâmetros das Spin-images Ângulo suporte O ângulo suporte indica o ângulo máximo entre a normal do ponto orientado da base da spin-image e as normais dos pontos da superfície. Departamento de Informática Imagens criadas por pontos correspondentes pertencentes a diferente visões não serão exatamente iguais.

82 Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Define-se o coeficiente de correlação linear entre duas imagens P e Q pela função onde pi e qi são os tons de cinza dos pixels de P e Q, e N é a quantidade de pixels da imagem. Varia entre -1 e 1. Departamento de Informática

83 Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Faz-se necessário, então, o uso de uma outra técnica que leve em conta a quantidade de pixels na região de sobreposição. Problema: Duas imagens com pequena região de sobreposição podem ter coeficiente maior, no entanto grande região de sobreposição pode ter um coeficiente menor. Departamento de Informática

84 Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Define-se medida de similaridade pela função : Uma técnica que resolve bem este problema é a medida de similaridade, que considera, além do coeficiente de correlação linear, sua variância, para medir sua confiabilidade. onde N é a quantidade de pixels na região de sobreposição e é um peso associado à variância. é a metade da mediana, da quantidade de bins que possuem valor nulo, esse valor é medido para cada spin-image. Departamento de Informática

85 Seleção de pontos Seleção por Curvatura Local Cálculo de curvatura em todos os pontos das malhas. Uma propoção dos pontos com maior curvatura é selecionado em ambas as malhas para criação dos spin-images Força Bruta O(nm). Comparar todos os spin-imagens da malha m com os da malha n. Departamento de Informática

86 Seleção de pontos Curvaturas analisadas no trabalho Curvatura média Curvatura Gaussiana Curvatura principal máxima Soma dos quadrados das curvaturas principais Melhor resultado foi a soma dos quadrados das curvaturas principais. Departamento de Informática

87 Seleção de pontos Departamento de Informática

88 Efetuadas para garantir a consistência das correspondências. 1ª Filtragem Elimina correspondências que tenham similaridades abaixo da metade da maior similaridade existente entre as correspondências. 2ª Filtragem Teste de consistência geométrica baseado na seguinte afirmação: Sejam duas correspondências serão consistentes se Filtragens Departamento de Informática

89 Filtragens no sistema de coordenadas local definido isso é equivalente a analisar as funções: onde S é a aplicação spin-map. A primeira equação normaliza a diferença das distâncias de acordo com a media das normas das coordenadas spin-map. Na segunda equação se Dgc é pequeno então as correspondências são geometricamente consistentes. Departamento de Informática

90 Agrupamento Agrupar algumas correspondências utilizando critérios que garantam uma boa transformação. Minimizar efeitos de ruído. Um grupo criado com pelo menos 3 correspondência deve ser capaz de gerar uma boa transformação. Nesta etapa são utilizado dois critérios: Consistência geométrica. Distância entre as correspondências. Quanto mais espalhadas as correspondências estiverem, maior as chances de obter uma boa transformação. Departamento de Informática

91 Agrupamento Assim esses dois requisitos combinados geram as seguintes funções: Se C 1 e C 2 forem geometricamente consistentes e distantes, W gc será pequeno. Departamento de Informática

92 Calculo da Transformação - Algoritmo de Horn Dado um grupo de correspondências, formadas por pontos em dois sistemas de coordenadas locais, a saber, os sistemas de coordenadas das duas malhas, é necessário encontrar o movimento rígido que minimize a distância entre os pares de pontos. Uma solução para esse problema usando mínimos quadrados foi desenvolvida por Horn (1987) Esse método utiliza quatérnios e mínimos quadrados para calcular movimentos rígidos entre correspondências. Departamento de Informática

93 Ilustrações Departamento de Informática

94 Ilustrações Departamento de Informática

95 Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados Departamento de Informática

96 Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados Demonstração Departamento de Informática

97 Conclusões e Referências Registro Automático de Superfícies Usando Spin-Images. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA. Registro Automático de Superfícies Usando Spin-Images. Thales Viera e Adelailson Peixoto, dissertação de mestrado, UFAL. An iterative framework for registration with reconstruction. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA. Departamento de Informática

98 Atualizações Z Cam - Possui sensores capazes de medir a profundidade de cada pixel capturado usando o princípio Time-of-Flight. Departamento de Informática

99 Atualizações Z Cam Time-of-Flight -E missão de pulsos infra-red para todos os objetos da cena capturando, de volta, a luz refletida de cada objeto. -Os objetos da cena são ordenados no eixo Z gerando um mapa de profundidade em escala de cinza. Departamento de Informática

100 Atualizações Demo Departamento de Informática

101 Resultados Departamento de Informática

102 Referências Fotografia 3D-Paulo Cezar Carvalho,Luiz Velho, Asla Sá, Esdras Medeiros, Anselmo Antunes Montengro, Adelailson Peixoto, Luis Antonio Rivera Escriba. Um Sistema Genérico de Calibração de Câmera- Clarissa Marques, UFAL, Adelailson Peixoto, UFAL, Thomas Lewiner,PUC-Rio. An iterative framework for registration with reconstruction-Thales Vieira[1], Adelailson Peixoto[2], Luiz Velho[3], Thomas Lewiner[1] [1]PUC-Rio de Janeiro, [2] UFAL-Maceió, [3] Visgraf Lab, IMPA-Rio de Janeiro Departamento de Informática

103 FIM Departamento de Informática


Carregar ppt "Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática."

Apresentações semelhantes


Anúncios Google