Alinhamento de Mapas 3D “ICP - Iterative Closest Point Algorithm” Baseado em Trabalhos de P. Besl, N. Mckay, Szymon Rusinkiewicz, Marc Levoy Zhengyou Zhang, Y. Chen, Medioni

Reconstrução de modelos 3D ? Objecto Original 1 15 8 6 2 alinhamento (pair-wise registration) alinhamento global (multi-view registration) conversão em meshes (scanning, triangulação) Integração,fusão Aplicações Reengenharia Produção de conteudos multimédia Preservação de arte e aquitectura Modelização da superfice terrestre Modelos - para sistemas de visão modelofinal

Registration Alinhamento (Registration) - Transformar as várias medições (3D, 2.5D) de uma superfície num uníco sistema de coordenadas Fusão Geométrica - Obter um uníco modelo 3D da superficie com base nas várias medições da superfície (scans)

Problema Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objecto. Suposição de uma 1º transformação relativa

Alinhamento de dados 3D Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles (Besl, McKay, Zhang)

Alinhamento de dados 3D Como encontrar os pares de pontos correspondentes? Solução em Sistemas Inicias: definição por parte do utilizador (manual) correspondência de primitivas (features), assinaturas de superficies, etc.

Alinhamento de dados 3D Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor transformação, ....

Alinhamento de dados 3D … e iterativamente encontrar e refinar o alinhamento Iterated Closest Points (ICP) [Besl & McKay 92] O sistema converge se a suposição para 1ª transformação fôr suficientemente conhecida “close enough“ ???

Algoritmo ICP original Dado um conjunto de pontos P e uma superfície Q onde P é um subconjunto de Q: Pesquisa do ponto mais próximo: para cada ponto p de P encontrar o ponto q mais próximo em Q Calcular registration: calcular a transformação rígida T que minimiza as somas dos quadrados das distâncias entre os pares de pontos próximos (p,q) Transformação: Aplicar a transformação rígida T a todos os pontos do conjunto P Iterar: repetir os passos 1 a 3 até convergir.

Algoritmo ICP original Minimizar esta função objectivo: qi são pontos do scan Q, pi são pontos do scan P e T é a transformação

ICP 3D 2D

ICP Registration of Free-Form Curves (Z. Zhang) Dados dois conjuntos de curvas 3D de scans consecutivos Ci(i=1,...,m) C’k(k=1, ...,n) compostas por pontos xi,j (j=1,..Ni) e x’k,l (l=1,..Nk) minimizar critério simétrico: d(x,C) distância do ponto x à curva C pi,j,qk,l - 0 ou 1 caso haja correspondência respectiva

ICP Registration for Free-Form Curves (Z. Zhang) Reduzir a carga computacional, minimizar apenas um dos lado do critério xi,yi : par de pontos 3D mais proximos, pertencentes a superficies distintas

Transformações? Como calcular as translações e rotações envolvidas? Ferramentas: SVD: Singular Value Decomposition Quaterniões

W(q),Q(q) - funções matriciais dos quaterniões Transformações Um quaternião q pode ser considerado um vector 4D [q1,q2,q3,q4]T ou um par (q^,q4) Os quaterniões são extensões dos números complexo q =w+xi+yj+zk q’=w-xi-yj-zk |q|=1 Cálculo de matrizes iterativo Sucessivas transformações => menos multiplicações W(q),Q(q) - funções matriciais dos quaterniões

Variantes do ICP Propostas de modificações nas seguintes “Etapas do ICP” : Selecção dos pontos fonte (de um ou de ambos meshes 3D) Correspondência a pontos noutras nuvens de pontos Pesos nas correspondências Rejeição de certos pontos (limites) Atribuição de erros métricos nas transformações Minimização do erro métrico

Desempenho das variantes Analíse: Velocidade Estabilidade Tolerância ao erro e aos limites Convergênncia (desalinhamento maximo inicial permitido)

Selecção dos pontos Usar todos os pontos Subamostragem uniforme Amostragem aleatória Normal-space sampling garantir que as normais das amostras estejam distribuidas uniformemente

Normal-Space Sampling Uniform Sampling Normal-Space Sampling

Selecção vs. Peso Definir estrutura de armazenamento Preprocessamento / custo computacional e robustez

Erro métrico Ponto-a-Plano Utilização de distancias entre ponto a plano em vez de ponto a ponto [Chen & Medioni 91]

Correspondência A estratégia de correspondência influencia a convergência e a velocidade Ponto Próximo Normal shooting Ponto Próximo Compativel Projecção

Correspondência do ponto próximo Encontrar o ponto mais próximo na outra nuvem de pontos (mesh) Estável, lento, requer preprocessamento

Normal Shooting Projecção segundo a normal até encontrar a outra mesh Melhor que o ponto mais próximo para superficies suaves, comporta-se mal com ruído e superfícies complexas

Closest Compatible Point Ponto Próximo Compativel Compatibilidade baseada em normais, tangente, cores,etc. No limite trata-se de correspondência de primitivas

Projecção para encontrar correspondência Descobrir o ponto mais próximo é a tarefa mais pesada do ICP Ideia: utilizar um algoritmo simples para determinar a correspondência [Blais 95]

Aplicações INPUT: Resultado: Aquisição Modelo 3D Um scanner que fornece dados 3D, 2.5D ICP Fusão e Rendering Resultado: Aquisição Modelo 3D

Resultados

Multi-view registration Alinhar simultâneamente duas ou mais superfícies ICP multi vista Minimizar o quadrado da distância entre pontos correspondentes (Benjemaa & Schmitt) Necessita de uma 1ª estimação Mesmos problemas do ICP Alternativa: Minimizar distâncias de pontos a planos, (Neugebauer)

Conclusão Metódo capaz de alinhar mapas 3D não requerendo calibrações Aquisição dos dados 3D segundo vários pontos de vista sem o conhecimento das respectivas transformações Método iterativo de refinamento Algum custo computacional

Referências The representation, recognition, and locating of 3-D objects, by O.D. Faugeras and M. Hebert, in The International Journal of Robotics Research. 5(3):27-52, Fall, 1986. A method for registration of 3-d shapes [ICP], by P.J. Besl and N.D. McKay, in IEEE Pattern Analysis and Machine Intelligence, 14(2):239-256, February 1992. Iterative Point Matching for Registration of Free-Form Curves, by Zhengyou Zhang, Technical Report RR-1658, Mars 1992 <article> A solution for the registration of multiple 3D point sets using unit quaternions, by Raouf Benjemaa and Francis Schmitt, Fifth European Conference on Computer Vision (ECCV '98) University of Freiburg, Germany, 2-6 June 1998, pp. 34-50 <author homepage> Object modelling by registration of multiple range images, by Y. Chen and G. Medioni. Image and Vision Computing, 10(3):145–155, April 1992 Simultaneous registration of multiple range views for use in reverse engineering, by D. W. Eggert, A. W. Fitzgibbon, and R. B. Fisher, Technical Report 804, Dept. of Artificial Intelligence, University of Edinburgh, 1996. K. Pulli. Surface reconstruction and display from range and color data, by Kari Pulli, PhD thesis, Dept. of Computer Science and Engineering, Univ. of Washington, December 1997.

Referências 3D Scanning Projects Software Zippered Polygon Meshes from Range Images, by Greg Turk and Marc Levoy, SIGGRAPH 94, 311- 318. A Volumetric Method for Building Complex Models from Range Images, by Brian Curless and Marc Levoy SIGGRAPH 96. "Efficient Variants of the ICP Algorithm" (with Marc Levoy), presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM), 2001. Efficient Variants of the ICP Algorithm, Szymon Rusinkiewicz, Marc Levoy, Presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM 2001) <article> Tutorial by Marc Pollefayes, on 3D Modeling from Images at ECCV2000 and 3DIM2001. 3D Scanning Projects The Digital Michelangelo Project Overview of the IBM Pieta Project 3D Fax machine Tele 3D 3D Vision Research Virtual archaeology Software Stanford Software Package Mesh Toolbox EIKONA3D Amira