ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE UM ROBÔ HUMANÓIDE UTILIZANDO IMAGENS DE UMA CÂMERA MÓVEL EXTERNA Marcelo B. Nogueira Bruno Xavier da Costa Adelardo A. D. Medeiros Pablo J. Alsina Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil

Objetivo Propor um método para realizar a movimentação de um robô humanóide simples, sem uma eletrônica embarcada avançada

Introdução Uma das principais tarefas de um sistema de navegação de um robô móvel: determinar a sua posição e orientação no ambiente de trabalho Feito através de Sensores Laser e GPS: caros Odometria: barato, mas não apropriado a humanóides

Introdução Câmeras embutidas no humanóide: Humanóide grande Eletrônica embarcada cara Câmera externa e cérebro remoto O cérebro e câmera não se encontra no robô Cérebro e corpo interligados por links sem fio Robô pequeno, leve e barato Robô utilizado: Robosapien

Metodologia Utilizamos um outro robô móvel com rodas dotado de um sistema de localização (odometria ou marcos naturais) e equipado com uma câmera e um computador (cérebro remoto) Sistema Proposto

Metodologia A partir de imagens, localizamos o humanóide no ambiente de trabalho e tomamos as ações necessárias para realizar a sua movimentação Simultaneamente, movimentamos o robô que contem a câmera, de forma que este tenha uma boa visada do humanóide

Estimação de Pose por Imagens Calibração de Câmera Determinar um conjunto de valores relativos à câmera que possibilite interpretar imagens obtidas por esta Dividida em duas etapas Determinação dos seus parâmetros intrínsecos Determinação dos seus parâmetros extrínsecos

Calibração de Câmera Determinação dos seus parâmetros intrínsecos Determinar as propriedades intrínsecas da câmera, como distância focal, centro de imagem, coeficiente de distorção das lentes Sem restrição de tempo real MÉTODO DE ZHANG Necessário que a câmera observe um padrão plano de no mínimo duas posições diferentes Não é necessário que se tenha conhecimento sobre o deslocamento realizado pela câmera entre uma observação e outra

Calibração de Câmera Determinação dos seus parâmetros extrínsecos Indicam a posição e a orientação da câmera com relação ao sistema de coordenadas do mundo Realizado em tempo real Métodos PnP (Perspective-n-Point) Utiliza n pontos notáveis presentes na cena e em uma imagem da cena

Determinação dos Pontos Notáveis para Calibração Interna Método de Zhang: mínimo de 6 pontos Melhor precisão: utilizamos 81 pontos Localizar diretamente pontos: impreciso Localizar intercessões de retas Localizar retas: Método de Hough Padrão para calibração interna

Determinação dos Pontos Notáveis para Calibração Externa Métodos P4P (necessários 4 pontos) Intercessão das arestas de um quadrilátero Hough: lento (aplicação em tempo real) Desenvolvimento de sistema de detecção de arestas mais rápido Padrão para calibração externa

Sistema de Detecção de Arestas Losango de cor característica Determinar vários pontos sobre cada uma das arestas (com erros) Utilizar um conjunto de pontos para calcular a melhor reta que representa cada aresta Extração dos vértices do losango

Movimentação do Humanóide Controlado por Infra-vermelho Técnica Heurística (restrições de movimento: frente,trás,direita,esquerda) Dado Ponto inicial e final gerar trajetória A cada passo Calcular ‘e’ (erro entre posição do robô e referência) e α (ângulo entre a reta definida pela posição atual do robo e a posição referencia , e o eixo z do robo zR) Se α > k, girar até que α ≈ 0 Se e > l, andar para frente

Movimentação da Câmera Depende da movimentação do humanóide Captação de uma boa imagem do humanóide A cada passo Comandada para uma posição que esteja a um distancia d do humanóide e de forma que a câmera aponte em sua direção Caso o eixo x do humanóide (xR) atinja um ângulo θ crítico em relação ao eixo z da câmera (zC), o humanóide e comandado para parar, e a câmera é comandada para uma posição que esteja a um distancia d do humanóide e de forma que θ seja 90o (posição PD)

Resultados Calibração interna Detecção dos pontos notáveis com Hough Erro médio de 0,37 pixel Detecção das retas

Resultados Calibração externa Detecção dos pontos notáveis com o método proposto Erro médio de 1,5 pixel Posição da câmera em relação ao humanóide: [-3,3 -4,9 50,4] Detecção das arestas

Resultados Movimentação do humanóide Movimentação da câmera Para a foto do slide anterior, supondo que a posição referencia seja [-3 0 60], o humanóide foi comandado para ir pra frente Movimentação da câmera Para a foto do slide anterior, supondo que a distância que a câmera deve guardar para o humanóide seja d = 40 cm e que o referencial do mundo coincide com o referencial da câmera, a câmera foi comandada para a posição PD = [0 0 10,5]

Posição de ângulo crítico Resultados Movimentação da câmera Situação onde foi detectado o ângulo crítico: Neste caso, a posição da câmera em relação ao humanóide foi [-3,2 -3,4 20,6] e θ = 11,10. A câmera foi comandada para a posição PD = [-11 0 -19] Posição de ângulo crítico

Conclusões Calibração interna: Calibração externa: Zhang: flexível, rápida e robusta Hough: alta precisão Calibração externa: P4P: resposta em tempo constante (ideal para aplicações em tempo real) Detecção das arestas do losango: rápida, precisa e robusta Controle de humanóide sem sensor interno em situações onde está disponível um robô móvel com câmera e sistema de localização preciso;

ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE UM ROBÔ HUMANÓIDE UTILIZANDO IMAGENS DE UMA CÂMERA MÓVEL EXTERNA Marcelo B. Nogueira Bruno Xavier da Costa Adelardo A. D. Medeiros Pablo J. Alsina Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil