Modelos Baseados em Agentes Coordenação “O que é de interesse coletivo de todos nem sempre interessa a ninguém individualmente.”* Prof. André Campos Aula #13 * Pérolas do ENEM – Exame Nacional de Ensino Médio. DIMAp/UFRN

Coordenação Coordenação = Coordenar ações distribuição + planejamento Resolução Distribuída de Problemas Problemas que requerem “esforço coletivo” Distribuição de tarefas Distribuição de conhecimento (resultados) Planejamento Planejamento centralizado, distribuído, parcial... DIMAp/UFRN

Resolução Distribuída de Problemas Motivação Velocidade da resolução do problema Ex.: distribuição de uma aplicação em várias máquinas Especialização inerente ao problema Ex.: monitoramento de uma grande área geográfica Necessidade de apenas uma “visão local” Ex.: controle de tráfego Necessidade dos resultados serem distribuídos Ex.: Entrega distribuída Visão otimista de sistemas multi-agentes Todos são benevolentes (pró-social) Diferente de agentes centrados em si (self-interested) DIMAp/UFRN

RDP: Questões Como um problema pode ser dividido em menores para serem distribuídos? Como a solução de um problema pode ser sintetizada a partir de resultados de sub-problemas? Como a resolução dos sub-problemas pode ser otimizada de forma a maximizar a solução global? Que técnicas podem ser utilizadas para coordenar de forma eficiente as ações dos agentes? DIMAp/UFRN

Etapas e atividades Etapas da RDP Decomposição do problema Resolução dos sub-problemas Síntese das soluções Atividades (provavelmente) envolvidas Distribuição de tarefas Distribuição de resultados Pró-ativamente Re-ativamente DIMAp/UFRN

Distribuição de tarefas Exemplo: Contract Net Olá !!! Preciso resolver A Meu problema P pode ser dividido em A, B, C e D, mas não sei como resolver A Contrato feito Faço por Y Faço por X Identificação do problema Anúncio Lançamento de propostas Contrato DIMAp/UFRN

Contract Net Tipos de anúncios Geral (broadcast) Restrito (focalizado em um grupo de agentes) Direto (a um ou mais agente que o solicitante conhece) E se não houver proposta que atenda as necessidades? Revisão do anúncio Anúncio periódico Inverter protocolo de interação Proponentes fazer o anúncio (Feira Livre) DIMAp/UFRN

Tarefas interdependentes Ao distribuir tarefas a diferentes agentes, nem sempre é possível resolvê-las de maneira independente. Ex.: Engenharia de produtos Interdependência simples O gerente solicita novas sub-tarefas a medida que suas dependências são resolvidas. Interdependência mais complexa Distribuição de resultados DIMAp/UFRN

Distribuição de resultados Retorno em relação à performance do grupo: Confiança Diferentes agentes chegando ao mesmo resultado reforça a confiança que aquele resultado está correto Completude Resultados de sub-problemas cobrem o problema como um todo Precisão Para refinar sua solução, um agente precisa saber mais sobre a solução de outros agentes Rapidez Mesmo se um agente é capaz de resolver um problema sozinho, a resolução em paralelo pode agilizar a solução. DIMAp/UFRN

Functionally Accurate Cooperation Cooperação simples  distribui tarefas Todos agentes conhecem todas as informações necessárias e as especificações de suas sub-tarefas Cooperação mais complexa  FAC Os agentes possuem uma visão parcial Functionnaly Accurate (vários inícios “falsos”) Cooperativo (requer troca iterativa) “Distração” Grande número de informações sendo trocadas DIMAp/UFRN

Limitando a comunicação na distribuição de resultados Reduzir o número de mensagens trocadas entre os agentes  evitar “distração” Repositório compartilhado Ex.: Blackboard Procura heurística distribuída com restrições Agenda de recursos disponíveis Definição de estruturas organizacionais Agentes trocam mensagens no seio de grupos DIMAp/UFRN

Técnicas de coordenação Problema Gerenciamento de interdependências entre as atividades dos agentes Técnicas Estruturas organizacionais Planejamento Global Parcial (PGP) Coordenação baseada em trabalho em equipe Intenções conjuntas Modelagem mútua Normas e leis sociais Planejamento multi-agente DIMAp/UFRN

Estruturas organizacionais Define um padrão de tomada de decisão e comunicação entre agentes Ex: Indústria  projetistas, engenheiros, vendas etc. Responsável por modelar os tipos de interações entre agentes Ajuda a coordenação especificando quais ações um agente em capaz de tomar Estruturas organizacionais podem ser Espaciais Funcionais Centralizadas Descentralizadas DIMAp/UFRN

Estruturas Organizacionais (1) Hierarquia Espacial (do problema) Designer Gerente do produto A Vendas Engenheiro Designer Gerente do produto B Vendas Engenheiro DIMAp/UFRN

Estruturas Organizacionais (2) Hierarquia funcional Gerentes funcionais Gerente de projetos Designers Gerente de designers Vendas Gerente de vendas Gerente de engenharia Engenheiros DIMAp/UFRN

Estrutura Organizacional (3) Mercado centralizado Gerente de projeto A Gerente de projeto B Gerente de projeto C Designers Gerente de designers Vendas Gerente de vendas Gerente de engenharia Engenheiros DIMAp/UFRN

Estrutura Organizacional (4) Mercado descentralizado Gerente de projeto A Gerente de projeto B Gerente de projeto C Designers Engenheiros Vendas DIMAp/UFRN

Discussão sobre as estruturas Custo da coordenação Hierarquia espacial: + Hierarquia funcional: ++ Mercado centralizado: +++ Mercado descentralizado: ++++ Útil quando há uma relação de “mestre/escravo” entre os agentes Pressupõe que, no mínimo, um agente possui uma visão geral do problema Nem sempre ocorre isso em SMA DIMAp/UFRN

Planejamento Global Parcial Agentes cooperativos trocam informação de forma a chegarem a conclusões comuns sobre o processo de resolução do problema Porque é “parcial”? O sistema não gera um plano para o problema geral Porque é “global”? Agentes expandem seus planos a partir da troca de planos locais com outros agentes DIMAp/UFRN

PGP Assume que Objetivo dessa técnica de coordenação As tarefas são passíveis de serem decompostas Um agente com uma tarefa a ser planejada pode não ter conhecimento das tarefas que outros agentes estão planejando, nem como elas se relacionam com a sua Agentes não possuem necessariamente conhecimento de tarefas globais Objetivo dessa técnica de coordenação Expandir a visão dos agentes DIMAp/UFRN

Estágios do PGP Estágios 1) Cada agente decide por si mesmo quais são seus objetivos e gera planos de curto-prazo para alcançá-los 2) Agentes trocam informação entre si para determinar se planos e objetivos interagem 3) Agentes alteram planos locais de forma a melhor coordenar suas atividades Para evitar incoerência no processo (estágios) Definição de uma “meta-estrutura”  especifica quais agentes um agente deve trocar informações e em quais situações ele o fará DIMAp/UFRN

Representação de um PGP Uma estrutura de dados gerada cooperativamente contendo as ações e interações de um grupo de agentes A estrutura possui Objetivo O objetivo global do grupo Mapa de atividades O que cada agente está fazendo e seus resultados Grafo de construção da solução Representação da interação dos agentes DIMAp/UFRN

Coordenação baseada em trabalho em equipe Modelos baseados em equipes humanas Modelagem de estados mentais  intenções Como uma intenção individual para alcançar determinado objetivo se distingue de uma equipe (uma intenção coletiva)? Responsabilidade em relação a outros membros da equipe Ex.: Duas pessoas carregando um objeto pesado Objetivo/visão individual  responsabilidade de equipe DIMAp/UFRN

Coordenação através de modelagem mútua Cada agente modela os demais agentes – suas crenças e intenções Se coloca no “lugar do outro” Coordenação das atividades de um agente baseado no que ele acredita sobre os objetivos e intenções dos demais Cooperação sem comunicação Teoria dos jogos pode ser utilizada (Dilema do prisioneiro) DIMAp/UFRN

Coordenação através de Intenções conjuntas Em uma atividade cooperativa, os agentes devem possuir um engajamento conjunto, bem como engajamentos individuais. Engajamento “Promessa” junto ao grupo Persistência de ações Podem mudar ao longo do tempo (o grupo como um todo) Convenção  maneira de monitorar engajamentos Especifica em que circunstâncias um engajamento pode ser revisto ou abandonado DIMAp/UFRN

Convenções Razões para terminar um engajamento Convenções sociais Objetivo alcançado Crença (coletiva) que o objetivo é impossível Motivação/justificativa (coletiva) para alcançar o objetivo não mais existe Convenções sociais Especifica como agir em relação aos outros membros da equipe DIMAp/UFRN

Normas e leis sociais Norma Lei social Padrão de comportamento esperado Lei social Similar a normas, porém estabelecido de forma autoritária Pode ser especificado através de um conjunto de restrições  (E’, a) E’  E (conjunto de possíveis estados do ambiente) a  A (conjunto finito de ações do agente) Se o ambiente se encontre em algum estado  E’, então ação a é proibida DIMAp/UFRN

Construção de normas e leis Pré-definidas Autoritariamente definidas por quem projeta o sistema Emergentes Surgem a partir do comportamento do grupo Memória do grupo Ex.: Primatas Geração de normas emergentes Como um grupo de agentes convergem para uma norma social usando apenas visões locais? “Jogo da camisa”: cada agente possui duas camisas, cada uma com uma cor diferente  todos devem vestir a mesma cor. DIMAp/UFRN

Estratégias para normas emergentes Maioria simples Agentes mudam para determinado comportamento se eles perceberem que a maioria age daquela maneira Maioria simples por tipo de agente Agentes se comunicam entre si para estabelecer categorias (em geral duas), onde eles se enquadram e adotam a maioria da categoria Maioria simples com comunicação de sucesso Agentes só compartilham suas estratégias quando há algo “interessante” a ser compartilhado Maior prêmio cumulativo Agentes adotam um comportamento quando o retorno de tal para o grupo de agentes é o melhor até o momento. DIMAp/UFRN

Coordenação através de planejamento multi-agente Pode ser visto como uma “especialização” da Resolução Distribuída de Problemas Problema = encontrar um plano para alcançar determinado objetivo DIMAp/UFRN

Tipos de planejamento distribuído Distribuição Planejamento Execução dos planos Planejamento centralizado para execução de planos de forma distribuída Similar à distribuição de tarefas Nem sempre planos centralizados encaixam na disponibilidade de execução dos demais agentes Planejamento distribuído para execução de planos de forma centraliza Agentes planejadores especialistas em diferentes áreas Planejamento distribuído para execução de planos de forma distribuída Complexo a gerenciar e interligar planos e ações DIMAp/UFRN

Combinação de planos Problemas de interdependência das ações de planos de diferentes agentes Algoritmo de Georgeff (1983) A partir de um conjunto de planos iniciais  gerar planos para vários agentes de forma que não haja conflitos entre eles. 1) Análise de interação 2) Análise de segurança 3) Resolução das interações Utiliza o formalismo STRIPS aumentado DIMAp/UFRN

Formalismo STRIPS Utilizado para definir planos Plano = seqüência de ações Cada ação definida a partir de: Nome Lista de pré-condições (pre) Lista de fatos que não serão mais válidos após a execução da ação Lista de fatos que serão verdadeiros após a execução da ação Georgeff  + Lista de fatos que devem ser verdadeiros durante a execução da ação DIMAp/UFRN

Etapas do algoritmo Análise de interação Análise de segurança Detecta as interdependências de ações Comutativo Precedência Análise de segurança Detecta que situações (ações em paralelo) não devem existir Resolução de interação Resolve as situações problemáticas DIMAp/UFRN

Exemplo do algoritmo Plano de X = {a, b, c} e Plano de Y = {k, l, m, n} Análise de interação (a,k) = comutativo; (b,m) = b precede m; etc. Análise de segurança Remove todas ações comutativas (global) Teorema da comutatividade A situação de iniciar a e b é problemática se um dos seus sucessores for problemático A situação de iniciar a e terminar b é problemática se a situação de terminar a e b é problemática A situação de terminar a e b é problemática se ambos sucessores são problemáticos Resolução de interação Uso de semáforos para resolução de conflitos DIMAp/UFRN