Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Índice Introdução à Visão 3D: Técnicas; Aplicações; Apresentação da Plataforma Computacional em Desenvolvimento; Alguns resultados experimentais obtidos; Conclusões; Trabalho futuro. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Introdução Em Visão Computacional, várias são as técnicas que se podem utilizar para recuperar a estrutura 3D de uma cena ou de um objecto: Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Aplicações: Seguimento e segmentação de objectos; Engenharia (Prototipagem rápida, design, ...); Realidade virtual (Actores e objectos virtuais, ...); Medicina (Reconstrução facial, ...); Arquitectura (Reconstrução de estruturas, esculturas, ...); Sistemas de navegação e identificação (Controlo de robots, biometria, ...); … Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Metodologia utilizada: estrutura a partir do movimento OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Objectivo do projecto: obtenção de modelos 3D de cenas ou de objectos reais; Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir do movimento da(s) câmara(s); não impondo qualquer tipo de restrição ao movimento envolvido. Introdução Plataforma Resultados Conclusões Sequência de imagens Extracção de pontos fortes Emparelhamento de pontos fortes Extracção da geometria epipolar Auto-calibração / Estimativa da Pose Emparelhamento denso Reconstrução 3D Trabalho Futuro Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Plataforma Computacional em desenvolvimento: Integração de funções disponibilizadas em várias bibliotecas de domínio público: OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo. Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C++; Sistema operativo: Microsoft Windows. Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO As funções incluídas abrangem várias técnicas de Visão Activa: Introdução Plataforma extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso. Resultados Conclusões Trabalho Futuro O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Resultados Introdução Utilização de pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional; Extracção de pontos fortes: São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento). Plataforma Resultados Conclusões Trabalho Futuro Algoritmos disponíveis para a extracção de pontos fortes Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Extracção de pontos fortes – exemplos obtidos pelas técnicas disponíveis: Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Emparelhamento de pontos fortes entre imagens: OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento de pontos fortes entre imagens: Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental). Introdução Plataforma Algoritmos disponíveis para o emparelhamento de pontos fortes Resultados Coordenadas dos pontos emparelhados da segunda imagem Coordenadas dos pontos fortes da primeira imagem Conclusões Trabalho Futuro Matriz fundamental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento de pontos fortes entre imagens – Exemplo: Introdução Plataforma Resultados Conclusões Trabalho Futuro . . . Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Cálculo da geometria epipolar: OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Cálculo da geometria epipolar: Obtém-se informação da pose relativa entre vistas da mesma cena. Introdução Plataforma Algoritmos disponíveis para o cálculo da geometria epipolar Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Rectificação: Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens. Introdução Algoritmo disponível para a rectificação Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Emparelhamento denso: OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento denso: Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena; Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade. Introdução Plataforma Algoritmos disponíveis para o emparelhamento denso Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento denso – Exemplo (imagens previamente rectificadas): Introdução Imagens originais Plataforma Resultados Conclusões Trabalho Futuro Mapa de disparidade Mapa de descontinuidades Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Conclusões: As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes; Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes); Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa. Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Trabalho Futuro: As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves: os pontos característicos serão determinados utilizando marcadores nos objectos; integração de técnicas de calibração da(s) câmara(s), assim como de obtenção da pose e do movimento da(s) mesma(s); introdução de técnicas de “escavação” do espaço tridimensional - space carving - para a modelização do objecto; Finalmente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores. Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Obrigado! FEUP - Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz