“LOCALIZAÇÃO DE ROBÔS E MAPEAMENTO DO AMBIENTE USANDO KINECT®”

Apresentação em tema: "“LOCALIZAÇÃO DE ROBÔS E MAPEAMENTO DO AMBIENTE USANDO KINECT®”"— Transcrição da apresentação:

1 “LOCALIZAÇÃO DE ROBÔS E MAPEAMENTO DO AMBIENTE USANDO KINECT®”
Gustavo Emerich Orientador: Renê Pegoraro

2 Objetivo Desenvolver um sistema capaz de perceber a existência de objetos na área onde o Kinect atua, gerando informações sobre a disposição de objetos que podem interferir com o deslocamento do robô no ambiente. Estas informações poderão ser utilizadas para oferecer subsídios para que o sistema de controle do robô tome decisões de como desviar ou empurrar algum objeto

3 Kinect Baseado em projetar padrões e medir a deformação do ponto (luz estruturada) Mapa de profundidade em tempo real (30 fps) Imagem RGB que pode ser utilizada em conjunto com o mapa de profundidade

4 PCL A Biblioteca Nuvens de Ponto (ou PCL) é um projeto aberto em grande escala para processamento 3D de imagens em forma de nuvens de ponto. O Framework PCL contém numerosos estado-da-arte, incluindo os algoritmos de filtragem, estimativa de recurso, reconstrução de superfície, registro e ajuste do modelo de segmentação.

5 PCL - Open Source

6 O que é uma nuvem de pontos?
A nuvem de pontos é uma estrutura de dados usada para representar uma coleção de pontos multi-dimensionais e é comumente usada para representar dados tridimensionais. Em uma nuvem de ponto 3D, os pontos geralmente representam as coordenadas geométricas X, Y, e Z de uma superfície subjacente amostrada. Quando as informações de cor está presente (veja a figura abaixo), a nuvem torna-se ponto 4D.

7 Como Capturar? Nuvens de pontos podem ser capturadas através de câmeras estéreo, sensores laser e dispositivos 3D como o Kinect. A PCL suporta nativamente as interfaces 3D da biblioteca OpenNI e consegue capturar dados de um Kinect e transformá-los para nuvem de pontos

8 Módulos Bibliotecas utilizadas: I/O Filters Tracking Segmentation
Visualization

9 Filter Downsample - Usa uma grade de voxel(pixel volumétrico) sobre a nuvem de entrada e calcula o “centro de massa” sobre cada voxel. Passthrough – Filtra as dimensões em x, y ou z de acordo com parâmetros.

10 Exemplos

11 Segmentation Plane model segmentation – Procura um modelo plano na cena e segmenta-o da cena, é possível trabalhar apenas com o plano ou com o restante dele. Euclidean cluster extraction – Procura por pontos vizinhos que estão dentro de um raio R limitador e agrupa-os em clusters.

12 Exemplo Model segmentation

13 Exemplo Cluster extraction

14 Tracking Track – Procura em uma determinada cena a existencia de uma possível transformação de um objeto segmentado.

15 Tracking

16 Algoritmo de localização
I/O Passthrough Filter Downsample Filter Plane Model Segmentation Cluster Extraction Object Tracking

17 Video

18 Cronograma Maio Junho Julho Agosto Setembro Outubro Novembro 1 X 2 3 X  4 5 6 1 - Traçar os requisitos do sistema (materiais, equipamentos, softwares). 2 - Realizar levantamento sobre a utilização dos equipamentos. 3 - Desenvolver a aplicação que interpreta os dados do Kinect® 4 - Desenvolver a aplicação que comanda o robô 5 - Testar o ambiente para encontrar bugs. 6 - Monografia e documentação

19 DUVIDAS?