Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa

© LES/PUC-Rio Introdução Confiança: –Confiança inicia quando o conhecimento termina. –Envolvimento de incertezas. Reputação –A opinião que os outros tem de nós. Em sistemas multiagentes abertos temos sociedades de agentes heterogêneos. Importância da existência de mecanismos para identificar agentes que não se comportam adequadamente.

© LES/PUC-Rio Introdução Por quê modelar confiança e reputação ? agentes devem escolher com quem interagir objetivo de capacitar os agentes a fazer a escolha correta. Diversos algoritmos na área de confiança e reputação como compará-los ? quais as características principais ART Testbed competição entre agentes experimentos independentes Introdução

© LES/PUC-Rio Visão Geral da Competição ART-Testbed Clientes solicitam avaliações para pinturas de Eras diferentes Agentes avaliadores podem pedir opinião de outros Agentes avaliadores podem comprar reputação de outros avaliadores Objetivo de produzir avaliação mais precisa possível Domínio: Art Appraisal Agentes são avaliadores de pintura com níveis variados de perícias em Eras artísticas diferentes

© LES/PUC-Rio Agente Avaliador Agente Competidor 1 era1era2era9...era10 Agente Competidor 2 era1era2era9...era10 Zé Carioca LES era1era2 era9...era10 1,0 0,1 0,5 0,7 pinturaera 1 *

© LES/PUC-Rio Transações dos Agentes

© LES/PUC-Rio Conceitos importantes Tempo de análise –Analisar uma pintura de um cliente –Pintura de uma opinião requisitada Geração da opinião –Informação baseada no tempo de análise –Informar valor Pesos –Peso das próprias avaliações –Peso das opiniões dos concorrentes Vencedor –Aquele que tiver mais dinheiro no final do jogo. p*=∑i(wi. pi) ∑ i(wi) wi = peso pi = Avaliação da opinião

© LES/PUC-Rio Regras Número de sessões entre 100 e 200. Graus de conhecimentos das eras podem sofrer mudanças durante o jogo. Dependendo do jogo pode haver limite de requisições de opiniões e reputações. Dependendo do jogo o agente poderá ou não usar seus conhecimentos em cada era. Avaliações geradas a partir das opiniões solicitadas.

© LES/PUC-Rio Agente Zé Carioca LES Agente avaliador com inteligência. Realizar boas avaliações das pinturas solicitadas por clientes. Boas estratégias. Finalista em 2007

© LES/PUC-Rio Simulador

© LES/PUC-Rio Simulador

© LES/PUC-Rio Competição 17 agentes (1 não foi aprovado) de 13 diferentes instituições Duas fases –Preliminar –Final Fase preliminar (Maio 10-11) –8 agentes de diferentes instituições –15 agentes da própria competição (5 “ruins”, 5 “neutros”, 5 “honestos”) –100 sessões Fase final (Maio 16-17) –Apenas os 5 melhores agentes da fase preliminar –15 agentes da própria competição (5 “ruins”, 5 “neutros”, 5 “honestos”) –200 sessões

© LES/PUC-Rio Fase Preliminar

© LES/PUC-Rio Fase Final 5) Pontifícia Universidade Católica do Rio de Janeiro 4) Agents Research Lab, University of Girona 3) Department of Computer Engineering, Bogazici University 2) Department of Math & Computer Science, The University of Tulsa 1) Electronics & Computer Science, University of Southampton

15 Andrew Diniz da Costa © LES/PUC-Rio Presentation Outline Fire model Governance Framework

16 Andrew Diniz da Costa © LES/PUC-Rio Fire Model Three types of reputation –Interaction trust –Witness reputation –Certified reputation * Huynh, T. D., Jennings, N. R. and Shadbolt, N. (2004) FIRE: an integrated trust and reputation model for open multi-agent systems. In: 16th European Conference on Artificial Intelligence, 2004, Valencia, Spain.

17 Andrew Diniz da Costa © LES/PUC-Rio Fire Model Interaction trust –resulting from past experiences from direct interactions –Between [-1, +1] –-1 means absolutely negative –+1 means absolutely positive –0 means neutral or uncertain Agent A Agent B Interaction Trust of the Agent B (price, quality, etc) Request Provide

18 Andrew Diniz da Costa © LES/PUC-Rio Fire Model Witness reputation –reports of witness about an agent’s behaviour Agent A Agent C Agent D Agent E Agent B Request witness Agent C knows Agent B Agent D knows Agent B Agent E knows Agent B

19 Andrew Diniz da Costa © LES/PUC-Rio Fire Model Certified reputation –references provided by other agents about its behaviour Agent A Agent D Agent B Agent C What is your reputation Evaluation of A made by the agent D Evaluation of A made by the agent B Evaluation of D made by the agent A Evaluation of B made by the agent A 0,5 -0,5 0,5

20 Andrew Diniz da Costa © LES/PUC-Rio Governance Framework - GUEDES, José ; SILVA, V. T. ; LUCENA, Carlos José Pereira de. A Reputation Model Based on Testimonies. In: Kolp, M, Garcia, A, Ghoze, C, Bresciani, P, Henderson-Sellers, B, Mouratidis, M.. (Org.). Agent-Oriented Information Systems.: Springer-Verlag, 2008, v. LNAI, p DURAN, Feranda ; SILVA, V. T. ; LUCENA, Carlos José Pereira de. Using Testimonies to Enforce the behavior of Agents. In: Sichman, J., Noriega, P., Padget, J. and Ossowski, S.. (Org.). Coordination, Organizations, Institutions and Norms in Agent Systems III. : Springer-Verlag, 2008, v. LNAI, p

21 Andrew Diniz da Costa © LES/PUC-Rio Governance Framework – Reputation System Three different kinds of reputations were defined: –role reputation, norm reputation and global reputation. Role reputations only consider norms that were violated while playing a specified role or lies that were told while playing the role. Norm reputations focus on the violation of a norm and on the lies told while considering a norm. The global reputation of an agent considers all violated norms and all told lies.

Considerações Finais (I/IV) Necessidade de trabalho colaborativo entre agentes –Sistema multiagente aberto. Vocês já viram a ideia de reputação sendo aplicada em algum sistema ou em algum cenário do seu cotidiano que poderia ser facilmente passado para um ambiente computacional? Quais domínios podemos aplicar reputação? –Compras e vendas (similar ideia do Ebay) –Jogos –Agentes que ofereçam mesmos serviços –... © LES/PUC-Rio

Considerações Finais (II/IV) Como aplicar reputação em aplicações que usam o Jade, Jadex, ASF, Jack, etc. –Existem abordagens para esses frameworks? –Governance Framework criado para o ASF ( Criar outros frameworks de reputação. Oferecer soluções para linhas de produtos de software Ex: Criar soluções para aplicações de e-commerce que usem reputação. Será que valeria modelar a ideia de que um agente só poderá negociar com agentes com reputação superior a “XPTO”? –Por que não estender abordagens de modelagens, tipo MAS- ML, AUML? © LES/PUC-Rio

Considerações Finais (III/IV) Auto-organização de agentes –Reputações podem ser usadas como base para que um sistema se auto-organize. –Existem padrões de reputações propostos para sistemas auto- organizáveis. Será que são suficientes? Testes de software –Reputações podem ser usados como critérios de verificação para algum agente. –Teste unitário envolvendo reputação “rep1” must be >= “respBase” © LES/PUC-Rio

Considerações Finais (IV/IV) Nova Ferramenta –Permitir a identificação de quais agentes em execução estão com reputações boas ou ruins? Reputações boas ou ruins em relação a algum papel desempenhado, etc. –Estender ferramentas oferecidas pelo JADE. Frameworks –Frameworks de reputação para abordagens conhecidas para SMA (ex: JADE, JADEX, etc). –Frameworks de agente para outras linguagens, como em C++. Estudo de caso: aplicações para blackberry. Mobile –Oferecer abordagens de reputação voltadas para mobile (uso de JadeLeap, Blackberry, etc). © LES/PUC-Rio

Fim! Questões?