A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Agentes Baseados em Utilidade Gustavo Danzi de Andrade Patrícia Tedesco

Apresentações semelhantes


Apresentação em tema: "Agentes Baseados em Utilidade Gustavo Danzi de Andrade Patrícia Tedesco"— Transcrição da apresentação:

1 Agentes Baseados em Utilidade Gustavo Danzi de Andrade Patrícia Tedesco

2 Parte I: Decisões Simples “Como um agente deve tomar decisões de modo que, em média, ele consiga o que quer”

3 Decision Theoretic Agent Agente capaz de...  Tomar decisões racionais baseado no que acredita e deseja Diferentemente de um agente lógico  Pode tomar decisões em ambientes com incertezas e objetivos conflitantes  Possui uma escala contínua de medida de qualidade sobre os estados Valores associados a cada estado (utilidade) indicando a “felicidade” do agente ! Funções de Utilidade associam um valor a um estado  Indica o “desejo” por estar nesse estado  U(S) = utilidade estado S de acordo com o agente  Ex.: s 1 = {rico, famoso}, s 2 = {pobre, famoso} U(s 1 ) = 10 U(s 2 ) = 5

4 Funções de Utilidade Result i (A): Todos os possíveis estados de saída de uma ação não- determinista A Para cada saída possível é associada uma probabilidade:  P (Result i (A) | Do(A), E)  Onde, E resume a evidência que o agente possuí do mundo Do(A) indica que a ação A foi executada no estado atual Utilidade esperada de uma ação A dado a evidência do mundo E: EU(A|E) =  i P(Result i (A)|Do(A),E) U(Result i (A)) Principio da Maximização da Utilidade: agente racional deve escolher ação que maximiza sua utilidade esperada !!! Nesta aula: Tomadas de Decisões Simples  É difícil enumerar todas seqüências de ações  Custo computacional, geralmente, proibitivo

5 Exemplo: Cálculo da Utilidade Esperada Robô deve transportar uma caixa E = caixa é de metal a 1 = Chutar:s 1, caixa no destino 20%U(s 1 ) = 10 s 2, caixa no meio do caminho 30%U(s 2 ) = 5 s 3, caixa longe destino 50%U(s 3 ) = 0 a 2 = Carregar: s 1, caixa no destino 80%U(s 1 ) = 10 s 2, caixa na origem 20%U(s 2 ) = 0 EU(a 1 ) = 0,20 x ,30 x 5 + 0,50 x 0 = 3,5 EU(a 2 ) = 0,80 x ,20 x 0 = 8

6 Preferências Racionais Funções de Utilidade são, essencialmente, heurísticas! Comportamento de qualquer agente racional pode ser adquirindo supondo-se uma função de utilidade a ser maximizada Preferências racionais permitem descrever o melhor comportamento como aquele que maximiza EU Notação:  A  B: A é preferível a B  A ~ B: agente indiferente entre A e B  A  B: agente prefere A à B ou é indiferente Para ações não-deterministas:  A e B são loterias, i.e., distribuições probabilísticas sobre um conjunto de estados de saída L = {p 1.S 1 ; p 2. S 2;...; p n.S n }

7 Restrições Sobre Preferências Racionais Axiomas da Teoria da Utilidade:  Ordenabilidade: (A > B)  ( B > A)  (A ~ B)  Transitividade: (A > B)  (B > C)  (A > C)  Continuidade: A > B > C   p [p.A; 1 - p.C] ~ B  Substitutabilidade: A ~ B  [p.A; 1 – p.C] ~ [p.B; 1 – p.C]  Monoticidade: A > B  ( p  q  [p.A; 1 – p.B]  [q.A; 1 – q.B] )  Decomposabilidade: [p.A; 1 – p. [q.B; 1 – q.C] ] ~ [p.A; (1 – p)q.B; (1 – p)(1 – q). C] Principio da Utilidade: Preferências que satisfaçam os axiomas garantem a existência de uma função real U, tal que:  U(A) > U(B)  A > B  U(A) = U(B)  A ~ B  U (p 1.S 1 ;... ; p n.S n ) =  i p i U(S i )

8 Exemplo: Restrições Sobre Preferências Racionais Violação das restrições levam a comportamentos irracionais Exemplo: agente com preferências não transitivas pode ser induzido a dar todo o seu dinheiro: CB 1 c CB A CB A Se B > C, então um agente que possuí C pagaria 1 centavo para obter B Se C > A, então um agente que possuí A pagaria 1 centavo para obter C Se A > B, então um agente que possui B pagaria 1 centavo para obter A

9 Exemplo: A Utilidade do Dinheiro Um jogador ganhou um prêmio de R$ em um programa de TV Apresentador oferece uma aposta:  Se ele jogar a moeda e aparecer cara  jogador perde tudo  Se aparecer coroa  jogador ganha R$ O Valor Monetário Esperado da aposta é:  0.5 (R$ 0) (R$ ) = $ O Valor Monetário Esperado de recusar a aposta é de R$ (menor) Isso indica que seria melhor aceitar a aposta ?

10 Exemplo: A Utilidade do Dinheiro Utilidade Esperada para cada uma das duas ações:  EU (Aceitar) = 0.5 U(S k ) U(S k )  EU (Rejeitar) = U(S k ) Onde, S k = riqueza atual do jogador Deve-se atribuir valores de utilidade para cada estado de saída:  S k = 5;  S k = 10;  S k = 8 Ação racional: rejeitar ! Conclusão: Utilidade não é diretamente proporcional ao valor monetário  Utilidade (mudança no estilo de vida) para o primeiro R$ é muito alta

11 Funções de Utilidade Multi-Atributo Como tratar funções de utilidades com várias variáveis X 1,..., X n ?  Ex.: Construir aeroporto, Variáveis: Segurança, Custo, Poluição sonora U (Segurança, Custo, Poluição sonora) = ? Existem basicamente dois casos:  Dominância: decisões podem ser tomadas sem combinar os valores dos atributos em um único valor da utilidade  Estrutura de Preferência e Utilidade Multi-atributo: utilidade resultante da combinação dos valores dos atributos pode ser especificada concisamente

12 Dominância Total Se um estado S 1 possui valores melhores em todos seus atributos do que S 2, então existe uma dominância total de S 1 sobre S 2   i X i (B)  X i (A) (e portanto U(B)  U(A)) Ex.: Local S 1 para Aeroporto custa menos e é mais seguro que S 2 Dominância total raramente acontece na prática !!!

13 Dominância Estocástica Na prática, dominância estocástica pode geralmente ser definida usando apenas um raciocínio qualitativo  Ex.: custo de construção aumenta com a distância para a cidade: S 1 é mais próximo da cidade do que S 2  S 1 domina S 2 estocasticamente sobre o custo $ - 2, P S1S1 S2S2 Exemplo, custo de construir aeroporto :  Em S 1 valor uniformemente distribuído entre $2,8 e $4,8 bilhões  Em S 2 valor uniformemente distribuído entre $3 e $5,2 bilhões Dada a informação que utilidade decresce com custo:  S 1 domina estocasticamente S 2  EU de S 1 é pelo menos tão alta quanto EU de S 2

14 Estrutura de Preferência e Utilidade Multi-Atributo Supondo que existem n atributos com d possíveis valores:  No pior caso, serão necessários d n valores (preferência sem regularidade!) A Teoria da Utilidade Multi-atributo assume que preferências de agentes possuem certa regularidade (estrutura)  Abordagem básica é tentar identificar essas regularidades! Agentes com uma certa estrutura em suas preferências terá uma função: U(x 1... X n ) = f[ f 1 (x 1 )..... f 2 (x 2 ) ] Onde espera-se que f seja uma função simples!

15 Estrutura de Preferência (Situação Determinista) X 1 e X 2 são preferencialmente independente de X 3 se, e somente se:  Preferência entre {x 1, x 2, x 3 } e {x 1 ’, x 2 ’, x 3 } não depende em x 3 Independência preferencial mútua (MPI): todos os pares de atributos são preferencialmente independente com relação aos demais  Ex.: Segurança, Custo, Poluição sonora Com MPI, o comportamento preferencial do agente pode ser descrito como uma maximização da função:  V (x 1... x n ) =  i V i (x i ) Para o caso não determinista, basta estender para lidar com loterias

16 Redes de Decisões Formalismo para expressar e resolver problemas de decisão: estende Redes Bayesianas adicionando ações e utilidades Representa informações sobre  Estado atual do agente  Possíveis ações  Estado resultante e sua utilidade Composto de:  Nós de Chance (ovais): representam variáveis como nas redes Bayesianas  Nós de Decisão (retângulo): pontos onde agente deve escolher uma ação  Nós de Utilidade (diamantes): representam as funções de utilidade do agente Algoritmo de avaliação: 1. Atribuir os valores das variáveis para o estado corrente; 2. Calcular o valor esperado do nó de utilidade dado a ação e os valores das variáveis; 3. Retornar a ação com maior Utilidade Máxima Esperada

17 Exemplo: Redes de Decisões Barulho Segurança Custo Trafego aéreo Construção Litigação Local do Aeroporto U Info. sobre estado atual Info. sobre estado futuro

18 Teoria do Valor da Informação Problemas anteriores assumiam que todas as informações estavam disponíveis O que acontece quando elas não estão?  Cabe ao agente buscar as informações necessárias... No entanto...  Obtenção de informações tem um custo associado  Ex.: solicitação de um exame por parte de um medico A Teoria do Valor da Informação permite que o agente escolha quais informações adquirir

19 Cálculo do Valor da Informação: Exemplo Exemplo: comprar os direitos de exploração de reservas de petróleo:  Dois blocos A e B, apenas um possui óleo com valor C;  Probabilidade de comprar o bloco certo = 0,5  O preço de cada bloco é C/2  Consultor oferece uma pesquisa para detectar qual bloco possui petróleo.  Qual o valor dessa informação? Solução:  Calcular o valor esperado da informação = valor esperado da melhor ação dada a informação – valor esperado da melhor ação sem a informação;  Pesquisador irá informar: “há óleo em A” ou “não há óleo em A” (p = 0,5)  Então: 0,5 x valor de “comprar A” dado que “há óleo em A” + 0,5 x valor de “comprar B” dado que “não há óleo em A” – 0 = = (0,5 x C/2) + (0,5 x C/2) – 0 = C/2

20 Valor da Informação: Exemplo A 1 e A 2 duas rotas distintas através de uma montanha no inverno  A 1 e A 2 são as únicas ações possíveis, com EU = U 1 e U 2, respectivamente  A 1 = caminho mais baixo, sem muito vento  A 2 = caminho mais alto, com muito vento  U (A 1 ) > U (A 2 ) Nova evidência NE produzirá novas utilidades esperadas U 1 ’ e U 2 ’  Vale a pena adquirir NE? E se mudássemos o cenário?  II) A 1 e A 2 são duas estradas onde venta muito, de mesmo tamanho e levamos um ferido grave  III) Mesmas estradas A 1 e A 2 mas agora no verão Conclusão: uma informação só terá valor caso gere uma mudança de plano, e se esse novo plano for significativamente melhor do que o antigo !


Carregar ppt "Agentes Baseados em Utilidade Gustavo Danzi de Andrade Patrícia Tedesco"

Apresentações semelhantes


Anúncios Google