“LOCALIZAÇÃO DE ROBÔS E MAPEAMENTO DO AMBIENTE USANDO KINECT®” Gustavo Emerich 825476 Orientador: Renê Pegoraro

Objetivo Desenvolver um sistema capaz de perceber a existência de objetos na área onde o Kinect atua, gerando informações sobre a disposição de objetos que podem interferir com o deslocamento do robô no ambiente. Estas informações poderão ser utilizadas para oferecer subsídios para que o sistema de controle do robô tome decisões de como desviar ou empurrar algum objeto

Kinect Baseado em projetar padrões e medir a deformação do ponto (luz estruturada) Mapa de profundidade em tempo real (30 fps) Imagem RGB que pode ser utilizada em conjunto com o mapa de profundidade

PCL A Biblioteca Nuvens de Ponto (ou PCL) é um projeto aberto em grande escala para processamento 3D de imagens em forma de nuvens de ponto. O Framework PCL contém numerosos estado-da-arte, incluindo os algoritmos de filtragem, estimativa de recurso, reconstrução de superfície, registro e ajuste do modelo de segmentação. http://www.pointclouds.org/

PCL - Open Source

O que é uma nuvem de pontos? A nuvem de pontos é uma estrutura de dados usada para representar uma coleção de pontos multi-dimensionais e é comumente usada para representar dados tridimensionais. Em uma nuvem de ponto 3D, os pontos geralmente representam as coordenadas geométricas X, Y, e Z de uma superfície subjacente amostrada. Quando as informações de cor está presente (veja a figura abaixo), a nuvem torna-se ponto 4D. http://www.pointclouds.org/

Como Capturar? Nuvens de pontos podem ser capturadas através de câmeras estéreo, sensores laser e dispositivos 3D como o Kinect. A PCL suporta nativamente as interfaces 3D da biblioteca OpenNI e consegue capturar dados de um Kinect e transformá-los para nuvem de pontos

Módulos Bibliotecas utilizadas: I/O Filters Tracking Segmentation Visualization

Filter Downsample - Usa uma grade de voxel(pixel volumétrico) sobre a nuvem de entrada e calcula o “centro de massa” sobre cada voxel. Passthrough – Filtra as dimensões em x, y ou z de acordo com parâmetros.

Exemplos

Segmentation Plane model segmentation – Procura um modelo plano na cena e segmenta-o da cena, é possível trabalhar apenas com o plano ou com o restante dele. Euclidean cluster extraction – Procura por pontos vizinhos que estão dentro de um raio R limitador e agrupa-os em clusters.

Exemplo Model segmentation

Exemplo Cluster extraction

Tracking Track – Procura em uma determinada cena a existencia de uma possível transformação de um objeto segmentado.

Tracking

Algoritmo de localização I/O Passthrough Filter Downsample Filter Plane Model Segmentation Cluster Extraction Object Tracking

Video

Cronograma   Maio Junho Julho Agosto Setembro Outubro Novembro 1 X 2 3 X  4 5 6 1 - Traçar os requisitos do sistema (materiais, equipamentos, softwares). 2 - Realizar levantamento sobre a utilização dos equipamentos. 3 - Desenvolver a aplicação que interpreta os dados do Kinect® 4 - Desenvolver a aplicação que comanda o robô 5 - Testar o ambiente para encontrar bugs. 6 - Monografia e documentação

DUVIDAS?