A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel.

Apresentações semelhantes


Apresentação em tema: "DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel."— Transcrição da apresentação:

1 DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental

2 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz2 Índice I.Introdução: Visão Computacional; Exemplos; Técnicas de Visão 3D; Objectivos do projecto; Metodologia considerada. II.Plataforma Computacional em Desenvolvimento; III.Alguns resultados experimentais obtidos; IV.Conclusões; V.Trabalho futuro.

3 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz3 Visão Computacional Interesse da Visão: ~50% do cérebro humano está dedicado à Visão; O sistema de Visão reflecte a percepção do mundo exterior. Introdução Plataforma Conclusões Trabalho Futuro Resultados Porquê a Visão Computacional: Abundância de imagens digitais no dia-a-dia; Inúmeras aplicações possíveis; Obter informações úteis a partir de imagens de forma o mais semelhante possível à realizada pelo homem.

4 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz4 Aplicações: exemplos Medicina: planeamento de cirurgias Introdução Plataforma Conclusões Trabalho Futuro Resultados Determinação da pose de órgãos ou de estruturas anatómicas

5 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz5 Aplicações : exemplos Medicina: reconstrução 3D Introdução Plataforma Conclusões Trabalho Futuro Resultados

6 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz6 Aplicações : exemplos Arquitectura: reconstrução de estruturas Introdução Plataforma Conclusões Trabalho Futuro Resultados Modelação 3D de edifícios

7 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz7 Aplicações : exemplos Sistemas de navegação Introdução Plataforma Conclusões Trabalho Futuro Resultados Controlo de robots

8 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz8 Técnicas Introdução Plataforma Conclusões Trabalho Futuro Resultados Em Visão Computacional, existem várias técnicas para recuperar a estrutura 3D de uma cena ou de um objecto:

9 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz9 Objectivos e Metodologia Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa. Sequência de imagens Extracção de pontos fortes Emparelhamento de pontos fortes Extracção da geometria epipolar Auto-calibração / Estimativa da Pose Emparelhamento denso Reconstrução 3D Introdução Plataforma Conclusões Trabalho Futuro Resultados Objectivo do projecto: Obtenção de modelos 3D de cenas ou de objectos reais. Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir de movimento relativo; pretende-se não impor qualquer tipo de restrição ao movimento.

10 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz10 Plataforma Computacional Introdução Plataforma Conclusões Trabalho Futuro Resultados Integração de funções disponibilizadas em várias bibliotecas de domínio público: OpenCV; Peters Matlab Functions for Computer Vision and Image Analysis (portada para C); Torrs Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo. Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C ++ ; Sistema operativo: Microsoft Windows.

11 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz11 Funções incluídas As funções incluídas abrangem várias técnicas de Visão Activa: Introdução Plataforma Conclusões Trabalho Futuro Resultados O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros. extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso.

12 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz12 Introdução Plataforma Conclusões Trabalho Futuro Resultados Extracção de pontos fortes Funções disponíveis para a extracção de pontos fortes São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento). Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional.

13 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz13 Exemplos obtidos pelas técnicas integradas: Introdução Plataforma Conclusões Trabalho Futuro Resultados Pontos fortes - resultados Peter Torr OpenCV KLT

14 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz14 Emparelhamento de pontos fortes Introdução Plataforma Conclusões Trabalho Futuro Resultados Coordenadas dos pontos fortes da primeira imagem Funções disponíveis para o emparelhamento de pontos fortes Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).

15 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz15 Emparelhamento de pontos fortes Introdução Plataforma Conclusões Trabalho Futuro Resultados Coordenadas dos pontos emparelhados da segunda imagem Matriz fundamental

16 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz16 Emparelhamento - resultados Introdução Plataforma Conclusões Trabalho Futuro Resultados Exemplos obtidos pelas técnicas integradas:

17 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz17 Geometria epipolar Introdução Plataforma Conclusões Trabalho Futuro Resultados Funções disponíveis para o cálculo da geometria epipolar Obtém-se informação da pose relativa entre vistas da mesma cena. Exemplo obtido pelas técnicas integradas:

18 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz18 Rectificação Introdução Plataforma Conclusões Trabalho Futuro Resultados Função disponível para a rectificação Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens. Exemplo obtido pelas técnicas integradas:

19 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz19 Mapa de disparidade Introdução Plataforma Conclusões Trabalho Futuro Resultados Funções disponíveis para o emparelhamento denso Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena; Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.

20 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz20 Mapa de disparidade - resultados Introdução Plataforma Conclusões Trabalho Futuro Resultados Imagens originais Mapa de disparidade Mapa de descontinuidades Exemplos obtidos pelas técnicas integradas:

21 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz21 Conclusões Introdução Plataforma Conclusões Trabalho Futuro Resultados As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes; Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes); Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.

22 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz22 Trabalho futuro Introdução Plataforma Conclusões Trabalho Futuro Resultados Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores. consideração de técnicas de escavação do espaço tridimensional - space carving - para a reconstrução do objecto; os pontos característicos serão determinados utilizando um reduzido número de marcadores nos objectos, por forma a referenciar o objecto no espaço 3D; integração de uma técnica de calibração da(s) câmara(s), assim como de algoritmos de obtenção da pose e do movimento relativo. As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves:

23 Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz23 Trabalho futuro Introdução Plataforma Conclusões Trabalho Futuro Resultados Space carving: determinar o volume inicial V, que englobe o objecto 3D; para cada voxel de V: projectá-lo nas imagens capturadas; removê-lo se não for consistente. Exemplos de Resultados:

24 DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental


Carregar ppt "DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel."

Apresentações semelhantes


Anúncios Google