Foto 3D Allan Rocha Daniel Campos Departamento de Informática Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass

Departamento de Informática Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem - Geração de Malhas Atualizações Resultados Referências

Departamento de Informática Algumas aplicações para Foto 3D: Museus virtuais Replicas físicas Medicina Cálculos geométricos Arquivos permanente E-commerce Moda Etc…

Departamento de Informática Algumas aplicações para Foto 3D: Entretenimento / Moda / Medicina

Departamento de Informática Algumas aplicações para Foto 3D: Stanford University Digital Michelangelo, 1997-2003 ITC - USC Parthenon, 2002-2004

Departamento de Informática

Departamento de Informática Reconstrução tridimensional • Princípio: estereoscopia (visão binocular) • Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço.

Departamento de Informática Modelagem e calibração de câmeras Modelagem Qual é a forma da função que associa a cada ponto do espaço sua posição na imagem? De que parâmetros depende?

Departamento de Informática Modelagem e calibração de câmeras Calibração Para uma câmera específica, quais são os valores destes parâmetros? Modelos de câmera - Câmera pin-hole equivalente - Deformação radial causada pelas lentes (modelo empírico) • Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Departamento de Informática Modelos de câmera

Departamento de Informática Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico)

Departamento de Informática Câmera pin-hole • Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Departamento de Informática

Departamento de Informática

Departamento de Informática

Departamento de Informática

Departamento de Informática

Departamento de Informática

Departamento de Informática

Departamento de Informática Calibração de câmera • Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera. • Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem.

Departamento de Informática Calibração de câmeras • Calibração ↔ estimação de parâmetros →otimização

Departamento de Informática Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial • Utilização de um método iterativo para melhorar a solução obtida

Departamento de Informática Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial – método de Tsai – método de Zhang(Não implementado) • Utilização de um método iterativo para melhorar a solução obtida – método de Levenberg-Marquardt

Departamento de Informática Método de Tsai • Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares

Departamento de Informática Método de Tsai

Departamento de Informática Método de Tsai • Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty

Departamento de Informática Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz)

Departamento de Informática Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz)

Departamento de Informática Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados.

Departamento de Informática Exemplo

Departamento de Informática Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema

Departamento de Informática Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração!

Departamento de Informática Calibração câmera-projetor -A idéia básica é projetar uma imagem conhecida e identificar as coordenadas dos pontos da cena em que determinados pontos desta imagem se projetam. -Utiliza a câmera que já foi calibrada.

Departamento de Informática Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração

Departamento de Informática Exemplo

Departamento de Informática

Departamento de Informática Reconstrução no Espaço da Imagem: Baseado na reconstrução do objeto no espaço local do dispositivo. Consiste em três etapas: - Aquisição de retalhos da superfície do objeto; - Alinhamento de retalhos;e -Construção da superfície

Departamento de Informática Reconstrução no Espaço da Imagem: Estereoscopia e Triangulação O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena. A partir daí é realizada a triangulação e calculado a profundidade do ponto.

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada Complexidade

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada Pipeline - Calibrar o par câmera/projetor; Capturar as imagens do objeto com os padrões projetados; Processar as imagens para correlacionar os pixels da câmera e do projetor; - Realizar a triangulação para recuperar a profundidade do pixel.

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada Taxonomia

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados. Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor. O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada.

Departamento de Informática Reconstrução no Espaço da Imagem: Luz Estruturada

Departamento de Informática Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Triangulação - Cálculo da distância de pontos visíveis do objeto em relação ao dispositivo de captura.

Departamento de Informática Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto

Departamento de Informática Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Interseção no espaço da câmera:

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído.

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos 1 15 8 6 2 conversão em meshes (scanning, triangulação) alinhamento (pair-wise registration) alinhamento global (multi-view registration) Modelo final

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto. Suposição de uma 1º transformação relativa

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Como encontrar os pares de pontos correspondentes? Solução em Sistemas Inicias: definição por parte do utilizador (manual) correspondência de primitivas (features), assinaturas de superficies, etc.

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor transformação, ....

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos … e iterativamente encontrar e refinar o alinhamento Iterated Closest Points (ICP) [Besl & McKay 92] O sistema converge se a suposição para 1ª transformação fôr suficientemente conhecida “close enough“ ???

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Algoritmo ICP Original

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global -Quando o alinhamento aos pares é utilizado sequencialmente para alinhar um conjunto de retalhos, os erros se acumulam e o alinhamento global fica insatisfatório. -Intratável do ponto de vista de otimização.

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global Solução baseada em diferentes heurísticas;

Departamento de Informática Registro Automático de Superfícies Usando Spin-Images Thales Vieira, Adelailson Peixoto (UFAL) Luiz Velho IMPA

Departamento de Informática Introdução Resumo: Registro e reconstrução de malhas a partir de scanner 3D. Motivação: Estimativa inicial de alinhamento das malhas no método ICP. Objetivo: Obtenção do alinhamento inicial de forma automática utilizando descritores spin image.

Departamento de Informática Introdução Modelagem é uma tarefa trabalhosa, com isso surgem os scanners 3D. Scanners 3D geram malhas utilizando o conceito de range images (valor dos pixels correspondente a dis- tância). A partir de range images é possível gerar as malhas triangulando seus pontos adjacentes.

Departamento de Informática Introdução Impossível gerar pontos de toda a superfície apenas de um ponto de vista, devido a oclusão. Necessário capturar várias range images. Range images geram malhas num sistema de coordenadas Local, então se faz necessário alinhar as malhas de acordo com um sistema de coordenadas global.

Departamento de Informática Problema: O problema de registro de superfícies consiste em determinar transformações que otimizam o alinhamento entre um conjunto de malhas que representam o mesmo objeto. Do ponto de vista matemático, dadas duas malhas ma e mb, onde o sistema de coordenadas ma é fixados como sistemas de coordenadas global, o problema consiste em encontrar o movimento rígido T.

Departamento de Informática Problema: Malhas do modelo da branca(IMPA) capturada de vários pontos de vista.

Departamento de Informática Problema: Registro de Superfícies

Departamento de Informática Algoritmo ICP resolve? Não garante a convergência do erro global. Necessitam que as malhas tenham uma estimativa inicial do alinhamento. Tem como resolver problema do alinhamento inicial ?

Departamento de Informática Propósito do Trabalho: Dado um conjunto de malhas que representam um determinado objeto, este trabalho apresenta uma estratégia de alinhar automaticamente todos os pares de malhas que possuem sobreposição, e gerar o modelo final.

Departamento de Informática Descritores Spin Images Os descritores spin-images (Johnson 1997) são imagens bidimensionais que descrevem propriedades globais da geometria de um objeto a partir de bases locais criadas em pontos orientados da superfície. Propriedade. Invariância por movimentos rígidos. Duas malhas extraídas de range images possuem spin-images semelhantes.

Departamento de Informática Descritores Spin-Images Considerando o problema de registro de superfícies, as spin-images se apresentam como boas candidatas para realizar a descrição de pontos das superfícies. Correspondência entre pontos tridimensionais pode ser feita através da comparação de imagens bidimensionais, pois pontos correspondentes tem spin-images semelhantes.

Departamento de Informática Descritores Spin-Images Spin-map Para a criação de spin-images, associa-se aos pontos da superfície o seu vetor normal. O vetor normal pode ser calculado como o vetor do plano que melhor se encaixa nos seus vizinhos.

Departamento de Informática Spin-map Ponto p com normal n define um sistema de coordenadas local, usando o plano P tangente e a reta L, que passa por p e a paralela a n. são definidos pela distancia perpendicular a L e pela distancia ate o plano P(sistema de coordenadas cilíndricas).

Departamento de Informática Spin-map Transformando pontos da superfície no sistema de coordenadas anterior, obtemos o spin-map. Essa aplicação projeta pontos da superfície em pontos bidimensionais, dado um ponto orientado O = (p; n). Portanto, um spin-map é uma aplicação de R³ em R², que mapeia:

Departamento de Informática Spin-images A imagem de uma aplicação spin-map é um conjunto de pontos bidimensionais, projetados a partir de pontos da superfície, que descreve a geometria do objeto. Problema: Não são ideais para realização de comparações, devido a variações de amostragem, visão e ruído. Exemplo falta de exatidão na posição entre vértices. Solução: Discretização da imagem utilizando Bins.

Departamento de Informática Spin-images

Departamento de Informática Parâmetros das Spin-images Tamanho dos bins Bins grandes podem tornar a descrição da superfície não muito clara. Bins pequenos podem não ser suficientes para anular os efeitos das posições individuais dos pontos. Medida utilizada foi de acordo como um múltiplo da resolução da malha, definida pela mediana dos comprimentos das arestas.

Departamento de Informática

Departamento de Informática Parâmetros das Spin-images Largura da imagem Determina a quantidade de bins, ou pixels da imagem, na horizontal e na vertical. Denomina-se distância suporte o produto do tamanho dos bins pela largura da imagem. Problemas: Larguras muito baixas e muito altas.

Departamento de Informática Parâmetros das Spin-images Ângulo suporte O ângulo suporte indica o ângulo máximo entre a normal do ponto orientado da base da spin-image e as normais dos pontos da superfície. Imagens criadas por pontos correspondentes pertencentes a diferente visões não serão exatamente iguais.

Departamento de Informática Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Define-se o coeficiente de correlação linear entre duas imagens P e Q pela função onde pi e qi são os tons de cinza dos pixels de P e Q, e N é a quantidade de pixels da imagem. Varia entre -1 e 1.

Departamento de Informática Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Problema: Duas imagens com pequena região de sobreposição podem ter coeficiente maior, no entanto grande região de sobreposição pode ter um coeficiente menor. Faz-se necessário, então, o uso de uma outra técnica que leve em conta a quantidade de pixels na região de sobreposição.

Departamento de Informática Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Uma técnica que resolve bem este problema é a medida de similaridade, que considera, além do coeficiente de correlação linear, sua variância, para medir sua confiabilidade. Define-se medida de similaridade pela função : onde N é a quantidade de pixels na região de sobreposição e é um peso associado à variância. é a metade da mediana, da quantidade de bins que possuem valor nulo, esse valor é medido para cada spin-image.

Departamento de Informática Seleção de pontos Força Bruta O(nm). Comparar todos os spin-imagens da malha m com os da malha n. Seleção por Curvatura Local Cálculo de curvatura em todos os pontos das malhas. Uma propoção dos pontos com maior curvatura é selecionado em ambas as malhas para criação dos spin-images

Departamento de Informática Seleção de pontos Curvaturas analisadas no trabalho Curvatura média Curvatura Gaussiana Curvatura principal máxima Soma dos quadrados das curvaturas principais Melhor resultado foi a soma dos quadrados das curvaturas principais.

Departamento de Informática Seleção de pontos

Departamento de Informática Filtragens Efetuadas para garantir a consistência das correspondências. 1ª Filtragem Elimina correspondências que tenham similaridades abaixo da metade da maior similaridade existente entre as correspondências. 2ª Filtragem Teste de consistência geométrica baseado na seguinte afirmação: Sejam duas correspondências serão consistentes se

Departamento de Informática Filtragens no sistema de coordenadas local definido isso é equivalente a analisar as funções: onde S é a aplicação spin-map. A primeira equação normaliza a diferença das distâncias de acordo com a media das normas das coordenadas spin-map. Na segunda equação se Dgc é pequeno então as correspondências são geometricamente consistentes.

Departamento de Informática Agrupamento Agrupar algumas correspondências utilizando critérios que garantam uma boa transformação. Minimizar efeitos de ruído. Um grupo criado com pelo menos 3 correspondência deve ser capaz de gerar uma boa transformação. Nesta etapa são utilizado dois critérios: Consistência geométrica. Distância entre as correspondências. Quanto mais espalhadas as correspondências estiverem, maior as chances de obter uma boa transformação.

Departamento de Informática Agrupamento Assim esses dois requisitos combinados geram as seguintes funções: Se C1 e C2 forem geometricamente consistentes e distantes, Wgc será pequeno.

Departamento de Informática Calculo da Transformação - Algoritmo de Horn Dado um grupo de correspondências, formadas por pontos em dois sistemas de coordenadas locais, a saber, os sistemas de coordenadas das duas malhas, é necessário encontrar o movimento rígido que minimize a distância entre os pares de pontos. Uma solução para esse problema usando mínimos quadrados foi desenvolvida por Horn (1987) Esse método utiliza quatérnios e mínimos quadrados para calcular movimentos rígidos entre correspondências.

Departamento de Informática Ilustrações

Departamento de Informática Ilustrações

Departamento de Informática Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados

Departamento de Informática Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados Demonstração

Departamento de Informática Conclusões e Referências Registro Automático de Superfícies Usando Spin-Images. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA. Registro Automático de Superfícies Usando Spin-Images. Thales Viera e Adelailson Peixoto, dissertação de mestrado, UFAL. An iterative framework for registration with reconstruction. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.

Departamento de Informática Atualizações Z Cam -Possui sensores capazes de medir a profundidade de cada pixel capturado usando o princípio Time-of-Flight.

Departamento de Informática Atualizações Z Cam Time-of-Flight -Emissão de pulsos infra-red para todos os objetos da cena capturando, de volta, a luz refletida de cada objeto. -Os objetos da cena são ordenados no eixo Z gerando um mapa de profundidade em escala de cinza.

Departamento de Informática Atualizações Demo

Departamento de Informática Resultados

Departamento de Informática Referências Fotografia 3D-Paulo Cezar Carvalho,Luiz Velho, Asla Sá, Esdras Medeiros, Anselmo Antunes Montengro, Adelailson Peixoto, Luis Antonio Rivera Escriba. Um Sistema Genérico de Calibração de Câmera- Clarissa Marques, UFAL, Adelailson Peixoto, UFAL, Thomas Lewiner,PUC-Rio. An iterative framework for registration with reconstruction-Thales Vieira[1], Adelailson Peixoto[2], Luiz Velho[3], Thomas Lewiner[1] [1]PUC-Rio de Janeiro, [2] UFAL-Maceió, [3] Visgraf Lab, IMPA-Rio de Janeiro

Departamento de Informática FIM