Foto 3D Allan Rocha Daniel Campos

Foto 3D Allan Rocha Daniel Campos
Departamento de Informática Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass

Departamento de Informática
Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem - Geração de Malhas Atualizações Resultados Referências

Algumas aplicações para Foto 3D: Museus virtuais Replicas físicas Medicina Cálculos geométricos Arquivos permanente E-commerce Moda Etc…

Algumas aplicações para Foto 3D: Entretenimento / Moda / Medicina

Algumas aplicações para Foto 3D: Stanford University Digital Michelangelo, ITC - USC Parthenon,

Reconstrução tridimensional • Princípio: estereoscopia (visão binocular) • Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço.

Modelagem e calibração de câmeras Modelagem Qual é a forma da função que associa a cada ponto do espaço sua posição na imagem? De que parâmetros depende?

Modelagem e calibração de câmeras Calibração Para uma câmera específica, quais são os valores destes parâmetros? Modelos de câmera - Câmera pin-hole equivalente - Deformação radial causada pelas lentes (modelo empírico) • Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Modelos de câmera

Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico)

Câmera pin-hole • Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Calibração de câmera • Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera. • Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem.

Calibração de câmeras • Calibração ↔ estimação de parâmetros →otimização

Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial • Utilização de um método iterativo para melhorar a solução obtida

Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial – método de Tsai – método de Zhang(Não implementado) • Utilização de um método iterativo para melhorar a solução obtida – método de Levenberg-Marquardt

Método de Tsai • Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares

Método de Tsai

Método de Tsai • Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty

Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz)

Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados.

Exemplo

Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema

Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração!

Calibração câmera-projetor -A idéia básica é projetar uma imagem conhecida e identificar as coordenadas dos pontos da cena em que determinados pontos desta imagem se projetam. -Utiliza a câmera que já foi calibrada.

Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração

Exemplo

Reconstrução no Espaço da Imagem: Baseado na reconstrução do objeto no espaço local do dispositivo. Consiste em três etapas: - Aquisição de retalhos da superfície do objeto; - Alinhamento de retalhos;e -Construção da superfície

Reconstrução no Espaço da Imagem: Estereoscopia e Triangulação O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena. A partir daí é realizada a triangulação e calculado a profundidade do ponto.

Reconstrução no Espaço da Imagem: Luz Estruturada Complexidade

Reconstrução no Espaço da Imagem: Luz Estruturada

Reconstrução no Espaço da Imagem: Luz Estruturada Pipeline - Calibrar o par câmera/projetor; Capturar as imagens do objeto com os padrões projetados; Processar as imagens para correlacionar os pixels da câmera e do projetor; - Realizar a triangulação para recuperar a profundidade do pixel.

Reconstrução no Espaço da Imagem: Luz Estruturada Taxonomia

Reconstrução no Espaço da Imagem: Luz Estruturada A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados. Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor. O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada.

Reconstrução no Espaço da Imagem: Luz Estruturada

Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Triangulação - Cálculo da distância de pontos visíveis do objeto em relação ao dispositivo de captura.

Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto

Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Interseção no espaço da câmera:

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído.

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos 1 15 8 6 2 conversão em meshes (scanning, triangulação) alinhamento (pair-wise registration) alinhamento global (multi-view registration) Modelo final

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto. Suposição de uma 1º transformação relativa

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos
Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Como encontrar os pares de pontos correspondentes? Solução em Sistemas Inicias: definição por parte do utilizador (manual) correspondência de primitivas (features), assinaturas de superficies, etc.

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor transformação, ....

Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos … e iterativamente encontrar e refinar o alinhamento Iterated Closest Points (ICP) [Besl & McKay 92] O sistema converge se a suposição para 1ª transformação fôr suficientemente conhecida “close enough“ ???

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Algoritmo ICP Original

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Problema do melhor alinhamento de pares de pontos comuns:

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global -Quando o alinhamento aos pares é utilizado sequencialmente para alinhar um conjunto de retalhos, os erros se acumulam e o alinhamento global fica insatisfatório. -Intratável do ponto de vista de otimização.

Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Alinhamento Global Solução baseada em diferentes heurísticas;

Registro Automático de Superfícies Usando Spin-Images Thales Vieira, Adelailson Peixoto (UFAL) Luiz Velho IMPA

Introdução Resumo: Registro e reconstrução de malhas a partir de scanner 3D. Motivação: Estimativa inicial de alinhamento das malhas no método ICP. Objetivo: Obtenção do alinhamento inicial de forma automática utilizando descritores spin image.

Introdução Modelagem é uma tarefa trabalhosa, com isso surgem os scanners 3D. Scanners 3D geram malhas utilizando o conceito de range images (valor dos pixels correspondente a dis- tância). A partir de range images é possível gerar as malhas triangulando seus pontos adjacentes.

Introdução Impossível gerar pontos de toda a superfície apenas de um ponto de vista, devido a oclusão. Necessário capturar várias range images. Range images geram malhas num sistema de coordenadas Local, então se faz necessário alinhar as malhas de acordo com um sistema de coordenadas global.

Problema: O problema de registro de superfícies consiste em determinar transformações que otimizam o alinhamento entre um conjunto de malhas que representam o mesmo objeto. Do ponto de vista matemático, dadas duas malhas ma e mb, onde o sistema de coordenadas ma é fixados como sistemas de coordenadas global, o problema consiste em encontrar o movimento rígido T.

Problema: Malhas do modelo da branca(IMPA) capturada de vários pontos de vista.

Problema: Registro de Superfícies

Algoritmo ICP resolve? Não garante a convergência do erro global. Necessitam que as malhas tenham uma estimativa inicial do alinhamento. Tem como resolver problema do alinhamento inicial ?

Propósito do Trabalho: Dado um conjunto de malhas que representam um determinado objeto, este trabalho apresenta uma estratégia de alinhar automaticamente todos os pares de malhas que possuem sobreposição, e gerar o modelo final.

Descritores Spin Images Os descritores spin-images (Johnson 1997) são imagens bidimensionais que descrevem propriedades globais da geometria de um objeto a partir de bases locais criadas em pontos orientados da superfície. Propriedade. Invariância por movimentos rígidos. Duas malhas extraídas de range images possuem spin-images semelhantes.

Descritores Spin-Images Considerando o problema de registro de superfícies, as spin-images se apresentam como boas candidatas para realizar a descrição de pontos das superfícies. Correspondência entre pontos tridimensionais pode ser feita através da comparação de imagens bidimensionais, pois pontos correspondentes tem spin-images semelhantes.

Descritores Spin-Images Spin-map Para a criação de spin-images, associa-se aos pontos da superfície o seu vetor normal. O vetor normal pode ser calculado como o vetor do plano que melhor se encaixa nos seus vizinhos.

Spin-map Ponto p com normal n define um sistema de coordenadas local, usando o plano P tangente e a reta L, que passa por p e a paralela a n. são definidos pela distancia perpendicular a L e pela distancia ate o plano P(sistema de coordenadas cilíndricas).

Spin-map Transformando pontos da superfície no sistema de coordenadas anterior, obtemos o spin-map. Essa aplicação projeta pontos da superfície em pontos bidimensionais, dado um ponto orientado O = (p; n). Portanto, um spin-map é uma aplicação de R³ em R², que mapeia:

Spin-images A imagem de uma aplicação spin-map é um conjunto de pontos bidimensionais, projetados a partir de pontos da superfície, que descreve a geometria do objeto. Problema: Não são ideais para realização de comparações, devido a variações de amostragem, visão e ruído. Exemplo falta de exatidão na posição entre vértices. Solução: Discretização da imagem utilizando Bins.

Spin-images

Parâmetros das Spin-images Tamanho dos bins Bins grandes podem tornar a descrição da superfície não muito clara. Bins pequenos podem não ser suficientes para anular os efeitos das posições individuais dos pontos. Medida utilizada foi de acordo como um múltiplo da resolução da malha, definida pela mediana dos comprimentos das arestas.

Parâmetros das Spin-images Largura da imagem Determina a quantidade de bins, ou pixels da imagem, na horizontal e na vertical. Denomina-se distância suporte o produto do tamanho dos bins pela largura da imagem. Problemas: Larguras muito baixas e muito altas.

Parâmetros das Spin-images Ângulo suporte O ângulo suporte indica o ângulo máximo entre a normal do ponto orientado da base da spin-image e as normais dos pontos da superfície. Imagens criadas por pontos correspondentes pertencentes a diferente visões não serão exatamente iguais.

Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Define-se o coeficiente de correlação linear entre duas imagens P e Q pela função onde pi e qi são os tons de cinza dos pixels de P e Q, e N é a quantidade de pixels da imagem. Varia entre -1 e 1.

Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Problema: Duas imagens com pequena região de sobreposição podem ter coeficiente maior, no entanto grande região de sobreposição pode ter um coeficiente menor. Faz-se necessário, então, o uso de uma outra técnica que leve em conta a quantidade de pixels na região de sobreposição.

Comparação de Spin-images Técnicas de comparação de imagens de Johnson (1997) Uma técnica que resolve bem este problema é a medida de similaridade, que considera, além do coeficiente de correlação linear, sua variância, para medir sua confiabilidade. Define-se medida de similaridade pela função : onde N é a quantidade de pixels na região de sobreposição e é um peso associado à variância. é a metade da mediana, da quantidade de bins que possuem valor nulo, esse valor é medido para cada spin-image.

Seleção de pontos Força Bruta O(nm). Comparar todos os spin-imagens da malha m com os da malha n. Seleção por Curvatura Local Cálculo de curvatura em todos os pontos das malhas. Uma propoção dos pontos com maior curvatura é selecionado em ambas as malhas para criação dos spin-images

Seleção de pontos Curvaturas analisadas no trabalho Curvatura média Curvatura Gaussiana Curvatura principal máxima Soma dos quadrados das curvaturas principais Melhor resultado foi a soma dos quadrados das curvaturas principais.

Seleção de pontos

Filtragens Efetuadas para garantir a consistência das correspondências. 1ª Filtragem Elimina correspondências que tenham similaridades abaixo da metade da maior similaridade existente entre as correspondências. 2ª Filtragem Teste de consistência geométrica baseado na seguinte afirmação: Sejam duas correspondências serão consistentes se

Filtragens no sistema de coordenadas local definido isso é equivalente a analisar as funções: onde S é a aplicação spin-map. A primeira equação normaliza a diferença das distâncias de acordo com a media das normas das coordenadas spin-map. Na segunda equação se Dgc é pequeno então as correspondências são geometricamente consistentes.

Agrupamento Agrupar algumas correspondências utilizando critérios que garantam uma boa transformação. Minimizar efeitos de ruído. Um grupo criado com pelo menos 3 correspondência deve ser capaz de gerar uma boa transformação. Nesta etapa são utilizado dois critérios: Consistência geométrica. Distância entre as correspondências. Quanto mais espalhadas as correspondências estiverem, maior as chances de obter uma boa transformação.

Agrupamento Assim esses dois requisitos combinados geram as seguintes funções: Se C1 e C2 forem geometricamente consistentes e distantes, Wgc será pequeno.

Calculo da Transformação - Algoritmo de Horn Dado um grupo de correspondências, formadas por pontos em dois sistemas de coordenadas locais, a saber, os sistemas de coordenadas das duas malhas, é necessário encontrar o movimento rígido que minimize a distância entre os pares de pontos. Uma solução para esse problema usando mínimos quadrados foi desenvolvida por Horn (1987) Esse método utiliza quatérnios e mínimos quadrados para calcular movimentos rígidos entre correspondências.

Ilustrações

Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados

Refinamento do registro usando ICP. Reconstrução do Modelo. Resultados Demonstração

Conclusões e Referências Registro Automático de Superfícies Usando Spin-Images. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA. Registro Automático de Superfícies Usando Spin-Images. Thales Viera e Adelailson Peixoto, dissertação de mestrado, UFAL. An iterative framework for registration with reconstruction. Thales Viera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.

Atualizações Z Cam -Possui sensores capazes de medir a profundidade de cada pixel capturado usando o princípio Time-of-Flight.

Atualizações Z Cam Time-of-Flight -Emissão de pulsos infra-red para todos os objetos da cena capturando, de volta, a luz refletida de cada objeto. -Os objetos da cena são ordenados no eixo Z gerando um mapa de profundidade em escala de cinza.

Atualizações Demo

Resultados

Referências Fotografia 3D-Paulo Cezar Carvalho,Luiz Velho, Asla Sá, Esdras Medeiros, Anselmo Antunes Montengro, Adelailson Peixoto, Luis Antonio Rivera Escriba. Um Sistema Genérico de Calibração de Câmera- Clarissa Marques, UFAL, Adelailson Peixoto, UFAL, Thomas Lewiner,PUC-Rio. An iterative framework for registration with reconstruction-Thales Vieira[1], Adelailson Peixoto[2], Luiz Velho[3], Thomas Lewiner[1] [1]PUC-Rio de Janeiro, [2] UFAL-Maceió, [3] Visgraf Lab, IMPA-Rio de Janeiro

FIM

Foto 3D Allan Rocha Daniel Campos

Apresentações semelhantes

Apresentação em tema: "Foto 3D Allan Rocha Daniel Campos"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback

Login

Autorizar-se através da rede social:

Foto 3D Allan Rocha Daniel Campos

Apresentações semelhantes

Apresentação em tema: "Foto 3D Allan Rocha Daniel Campos"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback