Alinhamento de Mapas 3D “ICP - Iterative Closest Point Algorithm”

Apresentação em tema: "Alinhamento de Mapas 3D “ICP - Iterative Closest Point Algorithm”"— Transcrição da apresentação:

1 Alinhamento de Mapas 3D “ICP - Iterative Closest Point Algorithm”
Baseado em Trabalhos de P. Besl, N. Mckay, Szymon Rusinkiewicz, Marc Levoy Zhengyou Zhang, Y. Chen, Medioni

2 Reconstrução de modelos 3D ?
Objecto Original 1 15 8 6 2 alinhamento (pair-wise registration) alinhamento global (multi-view registration) conversão em meshes (scanning, triangulação) Integração,fusão Aplicações Reengenharia Produção de conteudos multimédia Preservação de arte e aquitectura Modelização da superfice terrestre Modelos - para sistemas de visão modelofinal

3 Registration Alinhamento (Registration) - Transformar as várias medições (3D, 2.5D) de uma superfície num uníco sistema de coordenadas Fusão Geométrica - Obter um uníco modelo 3D da superficie com base nas várias medições da superfície (scans)

4 Problema Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objecto. Suposição de uma 1º transformação relativa

5 Alinhamento de dados 3D Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles (Besl, McKay, Zhang)

6 Alinhamento de dados 3D Como encontrar os pares de pontos correspondentes? Solução em Sistemas Inicias: definição por parte do utilizador (manual) correspondência de primitivas (features), assinaturas de superficies, etc.

7 Alinhamento de dados 3D Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor transformação, ....

8 Alinhamento de dados 3D … e iterativamente encontrar e refinar o alinhamento Iterated Closest Points (ICP) [Besl & McKay 92] O sistema converge se a suposição para 1ª transformação fôr suficientemente conhecida “close enough“ ???

9 Algoritmo ICP original
Dado um conjunto de pontos P e uma superfície Q onde P é um subconjunto de Q: Pesquisa do ponto mais próximo: para cada ponto p de P encontrar o ponto q mais próximo em Q Calcular registration: calcular a transformação rígida T que minimiza as somas dos quadrados das distâncias entre os pares de pontos próximos (p,q) Transformação: Aplicar a transformação rígida T a todos os pontos do conjunto P Iterar: repetir os passos 1 a 3 até convergir.

10 Algoritmo ICP original
Minimizar esta função objectivo: qi são pontos do scan Q, pi são pontos do scan P e T é a transformação

11 ICP 3D 2D

12 ICP Registration of Free-Form Curves (Z. Zhang)
Dados dois conjuntos de curvas 3D de scans consecutivos Ci(i=1,...,m) C’k(k=1, ...,n) compostas por pontos xi,j (j=1,..Ni) e x’k,l (l=1,..Nk) minimizar critério simétrico: d(x,C) distância do ponto x à curva C pi,j,qk,l - 0 ou 1 caso haja correspondência respectiva

13 ICP Registration for Free-Form Curves (Z. Zhang)
Reduzir a carga computacional, minimizar apenas um dos lado do critério xi,yi : par de pontos 3D mais proximos, pertencentes a superficies distintas

14 Transformações? Como calcular as translações e rotações envolvidas?
Ferramentas: SVD: Singular Value Decomposition Quaterniões

15 W(q),Q(q) - funções matriciais dos quaterniões
Transformações Um quaternião q pode ser considerado um vector 4D [q1,q2,q3,q4]T ou um par (q^,q4) Os quaterniões são extensões dos números complexo q =w+xi+yj+zk q’=w-xi-yj-zk |q|=1 Cálculo de matrizes iterativo Sucessivas transformações => menos multiplicações W(q),Q(q) - funções matriciais dos quaterniões

16 Variantes do ICP Propostas de modificações nas seguintes “Etapas do ICP” : Selecção dos pontos fonte (de um ou de ambos meshes 3D) Correspondência a pontos noutras nuvens de pontos Pesos nas correspondências Rejeição de certos pontos (limites) Atribuição de erros métricos nas transformações Minimização do erro métrico

17 Desempenho das variantes
Analíse: Velocidade Estabilidade Tolerância ao erro e aos limites Convergênncia (desalinhamento maximo inicial permitido)

18 Selecção dos pontos Usar todos os pontos Subamostragem uniforme
Amostragem aleatória Normal-space sampling garantir que as normais das amostras estejam distribuidas uniformemente

19 Normal-Space Sampling
Uniform Sampling Normal-Space Sampling

20 Selecção vs. Peso Definir estrutura de armazenamento
Preprocessamento / custo computacional e robustez

21 Erro métrico Ponto-a-Plano
Utilização de distancias entre ponto a plano em vez de ponto a ponto [Chen & Medioni 91]

22 Correspondência A estratégia de correspondência influencia a convergência e a velocidade Ponto Próximo Normal shooting Ponto Próximo Compativel Projecção

23 Correspondência do ponto próximo
Encontrar o ponto mais próximo na outra nuvem de pontos (mesh) Estável, lento, requer preprocessamento

24 Normal Shooting Projecção segundo a normal até encontrar a outra mesh
Melhor que o ponto mais próximo para superficies suaves, comporta-se mal com ruído e superfícies complexas

25 Closest Compatible Point
Ponto Próximo Compativel Compatibilidade baseada em normais, tangente, cores,etc. No limite trata-se de correspondência de primitivas

26 Projecção para encontrar correspondência
Descobrir o ponto mais próximo é a tarefa mais pesada do ICP Ideia: utilizar um algoritmo simples para determinar a correspondência [Blais 95]

27 Aplicações INPUT: Resultado: Aquisição Modelo 3D
Um scanner que fornece dados 3D, 2.5D ICP Fusão e Rendering Resultado: Aquisição Modelo 3D

28 Resultados

29 Multi-view registration
Alinhar simultâneamente duas ou mais superfícies ICP multi vista Minimizar o quadrado da distância entre pontos correspondentes (Benjemaa & Schmitt) Necessita de uma 1ª estimação Mesmos problemas do ICP Alternativa: Minimizar distâncias de pontos a planos, (Neugebauer)

30 Conclusão Metódo capaz de alinhar mapas 3D não requerendo calibrações
Aquisição dos dados 3D segundo vários pontos de vista sem o conhecimento das respectivas transformações Método iterativo de refinamento Algum custo computacional

31 Referências The representation, recognition, and locating of 3-D objects, by O.D. Faugeras and M. Hebert, in The International Journal of Robotics Research. 5(3):27-52, Fall, 1986. A method for registration of 3-d shapes [ICP], by P.J. Besl and N.D. McKay, in IEEE Pattern Analysis and Machine Intelligence, 14(2): , February Iterative Point Matching for Registration of Free-Form Curves, by Zhengyou Zhang, Technical Report RR-1658, Mars <article> A solution for the registration of multiple 3D point sets using unit quaternions, by Raouf Benjemaa and Francis Schmitt, Fifth European Conference on Computer Vision (ECCV '98) University of Freiburg, Germany, 2-6 June 1998, pp <author homepage> Object modelling by registration of multiple range images, by Y. Chen and G. Medioni. Image and Vision Computing, 10(3):145–155, April 1992 Simultaneous registration of multiple range views for use in reverse engineering, by D. W. Eggert, A. W. Fitzgibbon, and R. B. Fisher, Technical Report 804, Dept. of Artificial Intelligence, University of Edinburgh, 1996. K. Pulli. Surface reconstruction and display from range and color data, by Kari Pulli, PhD thesis, Dept. of Computer Science and Engineering, Univ. of Washington, December 1997.

32 Referências 3D Scanning Projects Software
Zippered Polygon Meshes from Range Images, by Greg Turk and Marc Levoy, SIGGRAPH 94, A Volumetric Method for Building Complex Models from Range Images, by Brian Curless and Marc Levoy SIGGRAPH 96. "Efficient Variants of the ICP Algorithm" (with Marc Levoy), presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM), 2001. Efficient Variants of the ICP Algorithm, Szymon Rusinkiewicz, Marc Levoy, Presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM 2001) <article> Tutorial by Marc Pollefayes, on 3D Modeling from Images at ECCV2000 and 3DIM2001. 3D Scanning Projects The Digital Michelangelo Project Overview of the IBM Pieta Project 3D Fax machine Tele 3D 3D Vision Research Virtual archaeology Software Stanford Software Package Mesh Toolbox EIKONA3D Amira