A LUNO : S ÉRGIO R ONALDO B ARROS DOS S ANTOS O RIENTADOR : P ROF. D R. C AIRO L ÚCIO N ASCIMENTO J ÚNIOR C OORIENTADOR : P ROF. D R. S IDNEY N ASCIMENTO G IVIGI J ÚNIOR P LANEJAMENTO E C ONTROLE PARA A C ONSTRUÇÃO A UTÔNOMA DE E STRUTURAS T RIDIMENSIONAIS U TILIZANDO Q UADRIRROTORES

Sumário  Definição do problema  Introdução  Solução proposta e Resultados  Conclusões finais 2/44

1.Definição do problema  Propor: Um sistema autônomo de construção de estruturas 3D usando múltiplos quadrirrotores Capturar as peças nas posições de origem Transportar as peças entre as posições de captura e montagem Instalar as peças nos locais especificados As condições do ambiente e os recursos disponíveis As restrições de montagem das estruturas O tempo de execução e a potência dos atuadores considerando que seja capaz de 3/44

2.Introdução  O Quadrirrotor. o Configuração. o Vantagens. o Movimentos. 4/44

 Sistemas de coordenadas fixados. 2.Introdução 5/44

 Aprendizado por reforço (RL). o Estrutura formal do método. o Tipos de sinais de reforço: imediato e atrasado. o Valores do sinal de reforço: discreto ou real. 2.Introdução 6/44

 Learning Automata (LA). o Formado por autômatos estocásticos. o Um autômato FALA (Finite Action-set Learning Automata) pode ser descrito por: 2.Introdução 7/44

 Autômato interagindo com um processo. 2.Introdução 8/44

 Time de autômatos FALA. Aprendizado do Controladores de baixo nível Aprendizado da montagem com um robô Aprendizado da montagem com múltiplos robôs 2.Introdução 9/44

 Planejamento de trajetória: algoritmo de busca A*. 2.Introdução 10/44

3.Solução proposta Projetos dos controladores de voo dos quadrirrotores Projetos dos controladores de voo dos quadrirrotores Construção de estruturas 3D Arq Planejamento da sequência de montagem Planejamento das manobras e velocidades dos quadrirrotores Planejamento das trajetórias O ambiente de construção. Arq /44

 Sistema de controle de um quadrirrotor. o Controladores PID. 3.Solução proposta 12/44

3.Solução proposta  Estratégia: Usando o Aprendizado por Reforço (RL) Sintonizar e otimizar os controladores de voo Lidar com a não linearidade do quadrirrotor Executar manobras com precisão Capturar e transportar diferentes cargas Operar em ambientes com vento e sob a influência do efeito do solo pode-se para 13/44

3.Solução proposta  Ambiente de simulação / treinamento. 14/44

 Arquitetura de aprendizagem do sistema de controle. 3.Solução proposta 15/44

 O aprendizado por etapas. o Transições entre as etapas: após a convergência do cenário atual. 3.Solução proposta Simulador de voo X-Plane 1º: sem perturbações externas 2º: com vento aleatório em diferentes direções – vel. usada de 0 a 8,34 km/h 3º: com vento e efeito do solo – altura usada para o robô de h = 0,15 a 0,30 m Ambiente / QuadrirrotorEtapas 16/44

 O 1º Estágio do treinamento. o No. de controladores PID = 4. o No. de parâmetros por controlador = 3. 3.Solução proposta 17/44

 O 2º Estágio do treinamento. 3.Solução proposta o No. de controladores PID = 2. o No. de parâmetros por controlador = 3. 18/44

 Algoritmo de aprendizagem dos controladores. 3.Solução proposta 19/44

3.Solução proposta  Medição da qualidade da resposta (função custo).  Avaliação do desempenho e geração do reforço. erro de rastreamento sinal de controle fornecido pelos controladores sobressinal máximo erro de regime 20/44

3.Solução proposta  Simulação e Processo de treinamento. Evolução – Controladores internos Evolução – Controladores externos 21/44

 Resultados finais do processo de treinamento dos controladores (em simulação).  Considerando a vel. do vento de 0 a 8,34 km/h e o efeito do solo. Controladores de atitude e altura (voo pairado) Controladores de posição e trajetória (voo rastreado) Custo das políticas bem- sucedidas %98.07% 3.Solução proposta 22/44

 Infraestrutura experimental usada no RMCC. 3.Solução proposta 23/44

 Infraestrutura experimental usada no RMCC. 3.Solução proposta 24/44

 Componentes do quadrirrotor. 3.Solução proposta 25/44

 Estudo de casos: captura e transporte de uma peça. 3.Solução proposta 26/44

 Resultados experimentais: captura e transporte. 3.Solução proposta Retornar 27/44

3.Solução proposta  Arquitetura de aprendizagem e planejamento. Retornar 28/44

 Algoritmo de planejamento das sequências de montagem e manobras. 3.Solução proposta 29/44

30/44 3.Solução proposta  Medição da qualidade da tarefa realizada por cada robô.  Calculo do reforço. Tempo médio de translação Tempo médio de subida Tempo médio de descida Tempo médio de rotação Maior tempo obtido Desperdício de energia e redução do no. de pontos de parada Custo final

 Resolução de conflitos na área de construção e nas caixas de armazenagem. 3.Solução proposta Algoritmo LA – em cada manobra Ajusta a velocidade de translação de cada robô Quando o robô - mais veloz - atingir a posição final Mensura-se a distância entre os robôs Define o ponto de parada A* Verifica se os robôs estão indo para o mesmo local Compara com o valor de segurança Retornar 31/44

 Planejamento de trajetórias e resolução de colisões. o Tipos: agente - agente e agente - obstáculo. 3.Solução proposta Atualiza passo do A* Expande nó atual Algoritmo A* no 1º passo Atualiza lista de obstáculos móveis Seleciona outro robô Seleciona outro robô Todos robôs se deslocaram ? não sim Seleciona o robô de maior prioridade Move o robô 32/44

 Estruturas 3D investigadas. 3.Solução proposta Cubo Pirâmide Torre Parede 33/44

34/44  Evolução do sistema de construção cooperativo. o Três robôs – Estrutura: cubo – modo em camada. 3.Solução proposta

 Desempenho do aprendizado para um quadrirrotor. o Diferentes estruturas. o Modo em camada. CuboTorrePirâmideParede No. de peças / variedade12 / 220 / 236 / 338 / No. total de manobras do robô Iteração de convergência Custo da política bem-sucedida Solução proposta 35/44

3.Solução proposta  Desempenho do aprendizado para múltiplos robôs. o Estrutura: Cubo. o Modo em camada. Dados do Sistema No. de Quadrirrotores da equipe1234 No. de peças / Variedade12 / No. máximo de manobras Custo das políticas bem-sucedidas Taxa de convergência, Tc Gmin /44

 Resultados: tempo de execução da construção. o Um quadrirrotor - várias estruturas - modo em camada. 3.Solução proposta 37/44

3.Solução proposta  Resultados: tempo de execução da construção. o Múltiplos robôs - Estrutura: cubo - modo em camada. 38/44

 Resultados: tempo de montagem da estrutura. o Múltiplos robôs - Estrutura: cubo - modo em camada. 3.Solução proposta 39/44

 O jogo de FALA provou ser eficaz.  Bons controladores podem ser elaborados usando um conhecimento mínimo sobre o sistema.  Os diversos controladores podem ser rapidamente projetados e validados em uma plataforma real.  Diferentes planos de alto nível podem ser facilmente obtidos para uma mesma estrutura.  Planos de construção podem ser elaborados para coordenar múltiplos robôs e evitar conflitos.  Trajetórias podem ser diretamente planejadas para realizar a tarefa de montagem e evitar colisões. 4.Conclusão 40/44

1.A estratégia baseada em RL para projetar e otimizar os controladores de voo, que: o utiliza o aprendizado por etapas; o considera as perturbações e as variações de massa; o utiliza diversos critérios para otimizar o sistema. 2.A proposta para o planejamento da tarefa de construção com múltiplos quadrirrotores, que: o utiliza duas estratégias de montagem da estrutura; o gera os planos de construção e de trajetórias considerando as limitações de montagem e do ambiente dinâmico. 4.Conclusão  Contribuições. 41/44

3.A metodologia baseada em RL para a resolução dos conflitos entre os múltiplos quadrirrotores, que: o baseia-se na definição das velocidades de translação e das posições de parada. 4.A proposta para o replanejamento da tarefa em situações de falha de um ou mais quadrirrotores, que: o acomode as falhas e conclua a tarefa sem comprometer a eficiência da execução.  Contribuições. 4.Conclusão 42/44

4.Conclusão  Número total de publicações: 9.  Conferências e Congressos. o Brazilian Congress of Mec. Engineering: 2 artigos. o IEEE International Aerospace Conference: 1 artigo. o IEEE International Systems Conference: 4 artigos. o IEEE Systems, Man, Cybernetics: 1 artigo.  Periódico. o IEEE Systems Journal (Qualis A1): 1 artigo aceito para publicação. 43/44

Agradecimentos 44/44

45

46 Aprendizado dos Controladores de Baixo Nível de um Quadrirrotor  Estudos de casos.

47 Aprendizado dos Controladores de Baixo Nível de um Quadrirrotor  Resultados experimentais: voo sem carga.

48 Montagem Robotizada com um Quadrirrotor  Estratégias de construção das estruturas 3D. - Montagem em camada - Montagem híbrida

49 Montagem Robotizada com um Quadrirrotor  Planejador da tarefa de construção de diferentes estruturas 3D.

50 Montagem Robotizada com um Quadrirrotor  Calculo do sinal de reforço.

51 Montagem Robotizada com um Quadrirrotor  Simulação e Processo de Treinamento. o Evolução do aprendizado da construção de uma torre – modo em camada.

52 Montagem Robotizada com um Quadrirrotor  Simulação e Processo de Treinamento. o Plano de construção aprendido para a montagem de uma torre – modo em camada.

53 Montagem Robotizada com um Quadrirrotor  Estudos de Casos o Esboço do sistema de gerenciamento da tarefa de construção.

54 Montagem Robotizada com um Quadrirrotor  Estudos de Casos.

55 Montagem Robotizada com um Quadrirrotor  Estudos de Casos. o Trajetórias executadas pelo robô real para construir uma torre – modo em camada.

56  Planejador da tarefa de construção cooperativa. Construção com Múltiplos Quadrirrotores

57 Construção com Múltiplos Quadrirrotores

58  Algoritmo de planejamento das sequências de montagem, manobras e velocidades Construção com Múltiplos Quadrirrotores