CIn-UFPE 1 Planejamento e Ação Planejando e agindo em ambientes incertos.

Apresentação em tema: "CIn-UFPE 1 Planejamento e Ação Planejando e agindo em ambientes incertos."— Transcrição da apresentação:

1 CIn-UFPE 1 Planejamento e Ação Planejando e agindo em ambientes incertos

2 CIn-UFPE 2 Roteiro nIndeterminação do ambiente e suas soluções nPlanejamento Condicional nMonitoramento da execução com replanejamento nPlanejamento contínuo (situado)

3 CIn-UFPE Ambientes: Informação nAmbientes observáveis, estáticos e deterministas nComo se planeja nestes casos? Planejar e depois executar de “olhos vendados” nQue técnicas se aplicam? Busca em espaço de estados... POP Planejamento hierárquico (inclui POP) Escalonamento (POP+tempo+otimização)

4 CIn-UFPE Ambientes: Informação nQue incerteza há em ambientes não observáveis, dinâmicos ou não deterministas? nInformação incompleta Parcialmente observável, não determinista ou ambos Modelo do mundo fraco, mas correto! –Ex. a porta do banheiro está aberta ou fechada? Minhas chaves podem abrí-la ou não? nInformação incorreta O mundo não casa com o modelo dele –Ex. Eu acredito que minhas chaves vão abra porta, mas ela está com ferrolho

5 CIn-UFPE 5 Ambientes: Graus de Indeterminação nIndeterminação Limitada (bounded indeterminacy) Percepções são parciais e/ou ações têm efeitos imprevisíveis mas as conseqüências podem ser listadas –Ex. jogar a moeda (cara ou coroa) nSoluções Planejamento/busca sem sensor (sensorless) Planejamento condicional

6 CIn-UFPE 6 Ambientes: Graus de Indeterminação nIndeterminação ilimitada (unbounded indeterminacy) Conjunto de pré-condições ou efeitos desconhecidos ou grande demais –Domínios dinâmicos como economia, estratégia militar,... nSoluções Monitoramento da execução com replanejamento Planejamento contínuo

7 CIn-UFPE 7 Soluções: visão intuitiva nExemplo para comparar soluções Estado inicial: uma cadeira, uma mesa e algumas latas de tinta, tudo com cores desconhecidas Estado final: cadeira e mesa com a mesma cor Possível de ser resolvido com planejamento clássico? Não!!!

8 CIn-UFPE 8 Soluções para indeterminação limitada nCaso do “Sensorless problem” (cap 3 do AIMA): agente sem sensores! nPlanejamento sem sensor (sensorless planning) Constrói planos seqüenciais normais (execução sem percepção), mas considera todas as circunstâncias independentemente do estado inicial –Ex. Médico ao dar antibiótico de largo espectro nNoção importante: Coerção! Agir para forçar o mundo para estados desejáveis

9 CIn-UFPE 9 Exemplos... nCadeira+Mesa Abrir uma lata e pintar cadeira e mesa com ela (mesmo que algum dos móveis já esteja com esta cor) nAspirador tabajara versão 1.0: sem sensor Início: {1,2,3,4,5,6,7,8} Direita => {2,4,6,8}, Sugar => {4,8},... Solução: [dir, suga, esq, suga]

10 CIn-UFPE 10 Soluções para indeterminação limitada nCaso do Problema Contingencial (cap. 3 AIMA) o ambiente parcialmente observável ou efeito das ações desconhecido => nova informação após cada ação nPlanejamento conditional Constrói, a priori, um plano (fixo) com diferentes ramificações para diferentes contingentes. Percebe o ambiente para saber que ramo seguir nPlano Cadeira+Mesa Percebe as cores da cadeira e da mesa Se iguais, então termina senão, percebe rótulos das latas se houver alguma com a mesma cor de um dos mobiliários, então aplica-a ao outro Caso contrário, pinta ambos com a mesma cor.

11 CIn-UFPE 11 Soluções para indeterminação ilimitada nMonitoramento da execução com replanejamento Usa qualquer uma das técnicas precedentes para construir o plano, mas Monitora a execução para ver se o plano pode ter sucesso no atual estado ou precisa ser revisto Replaneja no caso de algo estar errado nComo se aplica ao exemplo da Cadeira+Mesa? nPlano Se por acaso a pintura deixou alguma cor antiga aparecendo, repintar a mobília em questão

12 CIn-UFPE 12 Soluções para indeterminação ilimitada nPlanejamento contínuo (situado) Capaz de abandonar e formular objetivos, pois, em vez de alcançar o objetivo e parar, deve persistir vivendo!!! Capaz de tratar eventos inesperados, mesmo durante a construção do plano nExemplo Cadeira+Mesa Se alguém está jantando, adia a pintura para o outro dia!

13 CIn-UFPE 13 Planejamento Condicional Ambientes completamente observáveis + efeitos imprevisíveis das ações Ambientes parcialmente observáveis

14 CIn-UFPE 14 Planejamento Condicional nAmbientes completamente observáveis O agente sabe seu estado atual, mas se o ambiente for não determinista, ela não saberá o efeito de suas ações nEx. Aspirador Tabajara versão 2.0: às vezes... suja o destino quando se move para lá às vezes... suja se sugar em um local limpo nPlano condicional: Como construí-lo? nPrimeiro passo: estender STRIPS... Efeitos disjuntivos: ação com um ou mais efeitos –Action(Left, Precond: AtR, Effect: AtL  AtR) Efeitos condicionais: efeito depende do estado onde a ação foi executada –Action(Suck, Precond:, Effect: (when AtLeft: CleanL)  (when AtRight, CleanR) Passos condicionais: para testar na execução –If  CleanL then Right else Suck

15 CIn-UFPE 15 Exemplo do aspirador tabajara 2.0 nEstados (totalmente acessível) Inicial: AtR  CleanL  CleanR Final (objetivo): AtL  CleanL  CleanR nSegundo passo Como aninhar condições => plano = árvore... Buscar uma solução Mas que tipo de árvore?

16 And-Or Tree State nodes (agente) Chance nodes (natureza) OR AND

17 CIn-UFPE 17 Solução em uma And-Or tree nA solução é uma sub-árvore Cujas folhas são todas iguais ao objetivo Que especifica uma ação a cada nó de estado Que inclui todas as conseqüências dos nós de “azar” nA solução no caso seria o plano... [Left, if AtL  CleanL  CleanR then [] else Suck] nOu, no caso de planejar no espaço de planos descrição parcial do estado por linguagem mais expressiva [Left, if CleanL then [] else Suck]

18 CIn-UFPE 18 Similaridade com Jogos nJogos contra um adversário (no caso, a natureza): jogos contra a natureza Ganhar independente do que a natureza aprontar... nSolução: Min-Max, mas Max = OR: qualquer ação Min= AND: todas as conseqüências Retorno: plano condicional

19 CIn-UFPE 19 Planejamento Condicional nAmbientes parcialmente observáveis e não deterministas Os testes condicionais (percepções) nem sempre funcionam... –Ex. aspirador só sabe se tem sujeira no quarto em que está Belief state (estado de crença): –Ao invés de estado único, deve-se lidar explicitamente com a ignorância para sempre estar consciente do que se sabe (ou do que não se sabe)! –Representado como um conjunto de estados (possíveis) nSolução Grafos And-Or em estados de crença Combina planejamento condicional com sersorless planning

20 Exemplo Estado de crença Aspirador Tabajara alternativo Deixa, as vezes, sujeira quando sai de uma posição limpa Não sabe se há sujeira no quadrado ao lado Acreditava que esq estava suja Acreditava que esq estava limpa

21 CIn-UFPE 21 Ainda algumas questões... nRepresentação dos estados de crença descrição completa –Crença A = {(atR  CleanR  CleanL), (atR  CleanR   CleanL)} descrição incompleta... –Crença A = atR  CleanR Mundo fechado... nComo perceber um ambiente Sensores automáticos (olha tudo o tempo todo) ou sensores ativos (só quando é decidido)

22 CIn-UFPE 22 Monitoramento da execução e replanejamento Para lidar com ambientes mais realistas!

23 CIn-UFPE Monitoramento+replanejamento nMonitoramento da execução Checar as percepções para ver se tudo está indo de acordo com o plano (pois sempre há imprevistos ;-) nDois tipos de monitoramento Monitoramento da ação: para ver se a próxima é aplicável –Ex. a porta está fechada Monitoramento do plano: ver se o plano ainda é viável –Ex. não tem mais $ suficiente nReplanejamento Se algo inesperado acontece, pedir ao planejador um novo plano ou tentar reparar o plano antigo

24 CIn-UFPE Monitoramento+replanejamento nExemplo: aspirador que quando se desloca para lugar limpo suja-o basta não se preocupar com isto... –Plano [Left] –Se não dá para executar Finish (tem sujeira), replaneja e encontra o plano [Suck] nA estratégia monitoramento + replanejamento pode ser aplicada em tudo Ambiente total ou parcialmente acessível Espaço de estados ou de planos Planos condicionais ou não... ?

25 CIn-UFPE 25 Monitoramento+replanejamento nReparo e continuação (Repair and continuation) Em vez de replanejar tudo, encontrar um conserto... nExemplo (planejamento em estado de espaço) Whole plan = plano inteiro (inicial), S= start, G = goal Plan = plano que resta O agente deveria chegar em E mas foi para O (action monitoring) Então tenta encontrar um plano que leve de O a qualquer ponto de WholePlan

26 CIn-UFPE 26 Exemplo Pintura nDe cadeira azul, mesa verde, lata de tinta azul e lata de tinta vermelha para tudo pintado da mesma cor nFormalmente Init (Color(Chair,Blue)  Color(Table,Green)  PaintCan(BC), ContainsColor(BC,Blue), PaintCan(RC), ContainsColor(RC,Red)) Goal (Color(Chair, x)  Color(Table, x)) Action (Paint (object,color) PRECOND: HavePaint(color) EFFECT: Color(object,color)) Action (Open (can) PRECOND: PaintCan(can)  ContainsColor(can,color) EFFECT: HavePaint(color)) nA solução seria [Start; Open(BC); Paint(Table,Blue); Finish]

27 CIn-UFPE 27 Exemplo Pintura nExecução/reparo Agente executa Start; Open(BC); Paint(Table,Blue) Mas, antes de executar Finish, ele verifica que esqueceu uma mancha verde na mesa... Neste caso, Repair = [] (já que não conhece a ação pinta mancha), e retoma plano inteiro (inicial) em Paint(Table,Blue), Finish nObs Funciona naturalmente como um laço que verifica se ficou ok e caso contrário refaz

28 CIn-UFPE 28 Monitoramento+replanejamento nPorém,...as vezes monitoramento de ação não é o bastante Só detecta a falha tarde demais porque verifica, a cada passo, somente se o próximo é executável Exemplo: decidir pintar tudo de vermelho –depois de pintar a cadeira, descobrir que não tem tinta suficiente para a mesa É preciso, em qualquer estado, detectar falhas que inviabilizem o resto do plano

29 CIn-UFPE 29 Monitoramento+replanejamento nMonitorando plano Verifica, a cada passo, as pré-condições para o sucesso do plano inteiro –Exceto as pré-condições que serão alcançadas por outros passos do plano remanescente Com isto, corta a execução de planos “amaldiçoados” o mais cedo possível Entretanto, problemático em ambientes parcialmente acessíveis –Agente pode não detectar coisas que estão dando errado –Pode-se perder mais tempo verificando todas as condições do futuro plano do que agindo Solução: escolher as verificações relevantes e torcer para tudo dar certo –mantendo monitoramento das ações sempre!

30 CIn-UFPE 30 Outras limitações de monit+replan nNão há garantias formais que o plano será concebido e executado com sucesso nDificuldade em distinguir problemas difíceis de “fúteis” (s/ solução)? O agente ficar bloqueado –Ex. tentando abrir a porta do quarto com a chave errada Soluções –Tentar aleatoriamente reparos diferentes para ver se dá sorte –Aprendizagem por reforço nNão funciona em tempo real Na há limites para o tempo gasto em replanejar nNão pode formular novos objetivos

31 CIn-UFPE 31 Planejamento Contínuo (Situado)

32 CIn-UFPE Agente de Planejamento Situado nNão é um mero resolvedor de problemas O plano é viver... nDiferenças básicas Cria plano incrementalmente (dentro de limites de tempo) Pode começar a executar um plano mesmo incompleto Continua planejando durante a execução Pode mudar de objetivo nOu seja, é capaz de intercalar *continuamente* Execução de passos (de percepção e efetivação) Monitoramento Replanejamento

33 CIn-UFPE 33 Exemplo nMundo dos blocos Plano POP condicional Mundo observável (mas funciona igual) Action: Mover (x, y), “mover x para cima de y” PRECOND: Limpo(x)  Limpo(y)  EmCima(x,z) EFFECT: EmCima (x,y)  Limpo(z)   EmCima(x,z)   Limpo(y) O agente escolheu o objetivo abaixo Estado Inicial A BEBE CFCF DGDG Objetivo A BEBEG CDCD F

34 Plano Inicial Início Mover (C,D) Estado Inicial A BEBE CFCF DGDG Mover (D,B) Fim NaMesa (A) EmCima (B,E) EmCima (C,F) EmCima (D,G) Limpo (A) Limpo (C) Limpo (D) Limpo (B) EmCima (D,G) Limpo (D) Limpo (B) EmCima (C,F) Limpo (C) Limpo (D) EmCima (C,D) EmCima (D,B) Objetivo A BEBEG CDCD F Supondo que nada acontece enquanto se planeja, o plano é rapidamente encontrado com POP... Ele será executado em seguida!

35 Mas eis que de repente... antes da execução.. a natureza intervém Início Mover (C,D) Mover (D,B) Fim NaMesa (A) EmCima (B,E) EmCima (C,F) EmCima (D,B) Limpo (A) Limpo (C) Limpo (D) Limpo (G) EmCima (D,y) Limpo (D) Limpo (B) EmCima (C,F) Limpo (C) Limpo (D) EmCima (C,D) EmCima (D,B) Um agente externo Estado Inicial A BEBE CFCF DGDG Plano incompleto! A BEBE CFCFG D Novo Estado Inicial

36 Início Mover (C,D) Mover (D,B) Fim NaMesa (A) EmCima (B,E) EmCima (C,F) EmCima (D,B) Limpo (A) Limpo (C) Limpo (D) Limpo (G) EmCima (D,y) Limpo (D) Limpo (B) EmCima (C,F) Limpo (C) Limpo (D) EmCima (C,D) EmCima (D,B) Estendendo um link causal Plano completo mas redundante! A BEBE CFCFG D Estado Inicial Objetivo A BEBEG CDCD F

37 Início Mover (C,D) Fim NaMesa (A) EmCima (B,E) EmCima (C,F) EmCima (D,B) Limpo (A) Limpo (C) Limpo (D) Limpo (G) EmCima (C,F) Limpo (C) Limpo (D) EmCima (C,D) EmCima (D,B) A BEBE CFCFG D Estado Inicial Objetivo A BEBEG CDCD F Eliminando passos redundantes

38 InícioFim NaMesa (A) EmCima (B,E) EmCima (C,A) EmCima (D,B) Limpo (F) Limpo (C) Limpo (D) Limpo (G) EmCima (C,D) EmCima (D,B) Mas o agente é desastrado... A BEBE CFCFG D Estado Inicial Coloca C em cima de A ao invés de D A BEBEFG D C Novo Estado Inicial Objetivo A BEBEG CDCD F

39 CIn-UFPE Início Mover (C,D) Fim NaMesa (A) EmCima (B,E) EmCima (C,A) EmCima (D,B) Limpo (F) Limpo (C) Limpo (D) Limpo (G) EmCima (C,A) Limpo (C) Limpo (D) EmCima (C,D) EmCima (D,B) Adicinando um novo passo... A BEBEFG D C Novo Estado Inicial Objetivo A BEBEG CDCD F

40 CIn-UFPE InícioFim NaMesa (A) EmCima (B,E) EmCima (C,D) EmCima (D,B) Limpo (A) Limpo (C) Limpo (D) Limpo (G) EmCima (C,D) EmCima (D,B) Finalmente, o agente situado pode buscar um novo objetivo Estado inicial A BEBEG CDCD F

41 CIn-UFPE No mundo real... nCombina-se várias abordagens de planejamento Ex. Fabricantes de carro -> pneu estepe e air bag = planos condicionais de furos e batidas Para motoristas, são possibilidades => replanejamento nCria-se planos condicionais só para as contigências que trazem graves conseqüências Ex. Em um Rally, vale a pena assegurar o estepe e air bag nMesmo este super-agente, tem ainda defeitos???

42 CIn-UFPE No mundo real... nSim... os agentes estudados não sabem encontrar um compromisso entre probabilidade de sucesso e custo da construção de um plano Decision-theoretical Agents

43 CIn-UFPE 43 Bibliografia nLivro AIMA cap. 12