Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Índice Introdução: Visão Computacional; Exemplos; Técnicas de Visão 3D; Objectivos do projecto; Metodologia considerada. Plataforma Computacional em Desenvolvimento; Alguns resultados experimentais obtidos; Conclusões; Trabalho futuro. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Visão Computacional Introdução Interesse da Visão: ~50% do cérebro humano está dedicado à Visão; O sistema de Visão reflecte a percepção do mundo exterior. Plataforma Resultados Conclusões Porquê a Visão Computacional: Abundância de imagens digitais no dia-a-dia; Inúmeras aplicações possíveis; Obter informações úteis a partir de imagens de forma o mais semelhante possível à realizada pelo homem. Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Aplicações: exemplos Medicina: planeamento de cirurgias Introdução Plataforma Determinação da pose de órgãos ou de estruturas anatómicas Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Aplicações : exemplos Medicina: reconstrução 3D Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Aplicações : exemplos Arquitectura: reconstrução de estruturas Introdução Plataforma Resultados Conclusões Modelação 3D de edifícios Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Aplicações : exemplos Sistemas de navegação Introdução Controlo de robots Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Técnicas Em Visão Computacional, existem várias técnicas para recuperar a estrutura 3D de uma cena ou de um objecto: Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Objectivos e Metodologia Objectivo do projecto: Obtenção de modelos 3D de cenas ou de objectos reais. Introdução Plataforma Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir de movimento relativo; pretende-se não impor qualquer tipo de restrição ao movimento. Resultados Conclusões Sequência de imagens Extracção de pontos fortes Emparelhamento de pontos fortes Extracção da geometria epipolar Auto-calibração / Estimativa da Pose Emparelhamento denso Reconstrução 3D Trabalho Futuro Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Plataforma Computacional Integração de funções disponibilizadas em várias bibliotecas de domínio público: Introdução OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo. Plataforma Resultados Conclusões Trabalho Futuro Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C++; Sistema operativo: Microsoft Windows. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Funções incluídas As funções incluídas abrangem várias técnicas de Visão Activa: Introdução extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso. Plataforma Resultados Conclusões Trabalho Futuro O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Extracção de pontos fortes Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional. Introdução Plataforma Resultados Conclusões Funções disponíveis para a extracção de pontos fortes Trabalho Futuro São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento). Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Pontos fortes - resultados Exemplos obtidos pelas técnicas integradas: Introdução Peter OpenCV Plataforma Resultados Conclusões Trabalho Futuro Torr KLT Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Emparelhamento de pontos fortes Introdução Funções disponíveis para o emparelhamento de pontos fortes Plataforma Resultados Coordenadas dos pontos fortes da primeira imagem Conclusões Trabalho Futuro Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental). Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Emparelhamento de pontos fortes Introdução Plataforma Coordenadas dos pontos emparelhados da segunda imagem Resultados Conclusões Matriz fundamental Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Emparelhamento - resultados Exemplos obtidos pelas técnicas integradas: Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Funções disponíveis para o cálculo da geometria epipolar Obtém-se informação da pose relativa entre vistas da mesma cena. Introdução Plataforma Funções disponíveis para o cálculo da geometria epipolar Resultados Conclusões Exemplo obtido pelas técnicas integradas: Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Função disponível para a rectificação Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens. Introdução Plataforma Resultados Função disponível para a rectificação Conclusões Trabalho Futuro Exemplo obtido pelas técnicas integradas: Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Funções disponíveis para o emparelhamento denso Mapa de disparidade Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Introdução Plataforma Resultados Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena; Conclusões Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade. Trabalho Futuro Funções disponíveis para o emparelhamento denso Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Mapa de disparidade - resultados Exemplos obtidos pelas técnicas integradas: Introdução Imagens originais Plataforma Resultados Conclusões Trabalho Futuro Mapa de disparidade Mapa de descontinuidades Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Conclusões As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes; Introdução Plataforma Resultados Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes); Conclusões Trabalho Futuro Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Trabalho futuro As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves: Introdução Plataforma consideração de técnicas de “escavação” do espaço tridimensional - space carving - para a reconstrução do objecto; os pontos característicos serão determinados utilizando um reduzido número de marcadores nos objectos, por forma a referenciar o objecto no espaço 3D; integração de uma técnica de calibração da(s) câmara(s), assim como de algoritmos de obtenção da pose e do movimento relativo. Resultados Conclusões Trabalho Futuro Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Trabalho futuro Space carving: Introdução Plataforma determinar o volume inicial V, que englobe o objecto 3D; para cada voxel de V: projectá-lo nas imagens capturadas; removê-lo se não for consistente. Resultados Conclusões Exemplos de Resultados: Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz Obrigado! FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz