A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares,

Apresentações semelhantes


Apresentação em tema: "OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares,"— Transcrição da apresentação:

1 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental

2 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz2 Índice I.Introdução à Visão 3D: Técnicas; Aplicações; II.Apresentação da Plataforma Computacional em Desenvolvimento; III.Alguns resultados experimentais obtidos; IV.Conclusões; V.Trabalho futuro. OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO

3 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz3 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Em Visão Computacional, várias são as técnicas que se podem utilizar para recuperar a estrutura 3D de uma cena ou de um objecto: Introdução Plataforma Conclusões Trabalho Futuro Resultados

4 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz4 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Aplicações: Seguimento e segmentação de objectos; Engenharia (Prototipagem rápida, design,...); Realidade virtual (Actores e objectos virtuais,...); Medicina (Reconstrução facial,...); Arquitectura (Reconstrução de estruturas, esculturas,...); Sistemas de navegação e identificação (Controlo de robots, biometria,...); … Introdução Plataforma Conclusões Trabalho Futuro Resultados

5 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz5 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO  Objectivo do projecto: obtenção de modelos 3D de cenas ou de objectos reais;  Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir do movimento da(s) câmara(s); não impondo qualquer tipo de restrição ao movimento envolvido.  Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa. Sequência de imagens Extracção de pontos fortes Emparelhamento de pontos fortes Extracção da geometria epipolar Auto-calibração / Estimativa da Pose Emparelhamento denso Reconstrução 3D Introdução Plataforma Conclusões Trabalho Futuro Resultados

6 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz6 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Plataforma Computacional em desenvolvimento: Integração de funções disponibilizadas em várias bibliotecas de domínio público: OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo. Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C ++ ; Sistema operativo: Microsoft Windows. Introdução Plataforma Conclusões Trabalho Futuro Resultados

7 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz7 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO  As funções incluídas abrangem várias técnicas de Visão Activa: Introdução Plataforma Conclusões Trabalho Futuro Resultados  O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros. extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso.

8 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz8  Utilização de pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional; 1)Extracção de pontos fortes: São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento). Introdução Plataforma Conclusões Trabalho Futuro Resultados OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Algoritmos disponíveis para a extracção de pontos fortes Resultados

9 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz9 Extracção de pontos fortes – exemplos obtidos pelas técnicas disponíveis: Introdução Plataforma Conclusões Trabalho Futuro Resultados OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO

10 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz10 2)Emparelhamento de pontos fortes entre imagens: Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental). OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Introdução Plataforma Conclusões Trabalho Futuro Resultados Coordenadas dos pontos fortes da primeira imagem Coordenadas dos pontos emparelhados da segunda imagem Matriz fundamental Algoritmos disponíveis para o emparelhamento de pontos fortes

11 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz11 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento de pontos fortes entre imagens – Exemplo: Introdução Plataforma Conclusões Trabalho Futuro Resultados...

12 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz12 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO 3)Cálculo da geometria epipolar: Obtém-se informação da pose relativa entre vistas da mesma cena. Introdução Plataforma Conclusões Trabalho Futuro Resultados Algoritmos disponíveis para o cálculo da geometria epipolar

13 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz13 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO 4)Rectificação: Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens. Introdução Plataforma Conclusões Trabalho Futuro Resultados Algoritmo disponível para a rectificação

14 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz14 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO 5)Emparelhamento denso: Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena; Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade. Introdução Plataforma Conclusões Trabalho Futuro Resultados Algoritmos disponíveis para o emparelhamento denso

15 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz15 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Emparelhamento denso – Exemplo (imagens previamente rectificadas): Introdução Plataforma Conclusões Trabalho Futuro Resultados Imagens originais Mapa de disparidade Mapa de descontinuidades

16 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz16 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Conclusões:  As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes;  Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);  Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa. Introdução Plataforma Conclusões Trabalho Futuro Resultados

17 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz17 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Introdução Plataforma Conclusões Trabalho Futuro Resultados Trabalho Futuro:  As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves:  os pontos característicos serão determinados utilizando marcadores nos objectos;  integração de técnicas de calibração da(s) câmara(s), assim como de obtenção da pose e do movimento da(s) mesma(s);  introdução de técnicas de “escavação” do espaço tridimensional - space carving - para a modelização do objecto;  Finalmente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.

18 OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP - Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental


Carregar ppt "OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO Teresa C. S. Azevedo, João Manuel R. S. Tavares,"

Apresentações semelhantes


Anúncios Google