José Guedes (PUC-Rio) Viviane Torres da Silva (UCM)

Apresentação em tema: "José Guedes (PUC-Rio) Viviane Torres da Silva (UCM)"— Transcrição da apresentação:

1 Um Framework para Cálculo de Reputações de Agentes de Software Baseado em Testemunhos
José Guedes (PUC-Rio) Viviane Torres da Silva (UCM) Carlos Lucena (PUC-Rio) Dissertação

2 Agenda Motivação Definição do problema Sistemas de Reputação
Modelos Centralizados e Descentralizados Modelo Proposto Framework para Cálculo de Reputações Em andamento Referências © LES/PUC-Rio

3 Sistemas multi-agentes abertos
Motivação Sistemas multi-agentes abertos sociedades onde entidades heterogêneas e projetadas de forma independente podem trabalhar com fins semelhantes ou diferentes. Agentes precisam saber se outros agentes são confiáveis Como saber se um agente é confiável antes de interagir com ele ? Falar Em um sistema multi-agente aberto nós temos agentes de software implementados de forma independente, cada agente foi programado para defender os seus interesses do seu proprietário. Não dá pra saber se os agentes foram testados de forma satisfatória ou se o agente é desonesto. Por isso é importante que o sistema ofereça algum serviço com o propósito de evitar agentes de software que ofereçam algum risco. Daí vem a importância dos agentes estarem equipados comfuncionalidades para evitar agentes defeituosos ou agentes desonestos através de mecanismos de confiança e reputação. Apontar falando Em SMAA, temos agentes heterogêneos interagindo entre si; então os agentes precisam saberse outros agentes são confiáveis Como saber se um agente é confiável ou não antes de interagir com ele. E é aí que entram os sistemas de reputação. Sistemas de reputação permitem avaliar as interações. A reputação é obtida através do histórico das avaliações. Um agente pode considerar outro agente confiável através da reputação. © LES/PUC-Rio

4 Agente A não sabe se o agente C é confiável
Definição do problema Como saber se um agente é confiável sem ter interagido com ele ? Agente A precisa de um serviço oferecido por um agente C mas nunca interagiu com ele A C Existem, na literatura, diversos modelos de confiança e reputação para sistemas multi-agentes. A maioria destes modelos são projetados para o agente de software. Os modelos de confiança capacitam os agentes a fazer avaliações dos agentes com quem eles interagiram. Baseado nestas avaliações, subjetivas, os agentes sabem em quem podem confiar. Claro que se o agente nunca interagiu com outro, este agente é desconhecido pra ele, então não existe confiança. Neste caso são utilizados modelos de reputação. As avaliações que um agente fez podem ser compartilhadas através de recomendações. Mas como confiar nas recomendações ? Na verdade tais modelos não funcionam de forma eficaz em sistemas multi-agentes de larga escala, porque a maioria dos agentes serão desconhecidos. Pode ser difícil também conseguir recomendações confiáveis. Ler O problema é como saber se o outro agente é confiável sem ter interagido com ele anteriormente. Se um agente A precisa de um serviço oferecido por um agente C mas nunca interagiu com o agente C, este é desconhecido, o agente A não sabe se o agente C é confiável. Agente A não sabe se o agente C é confiável © LES/PUC-Rio

5 Sistemas de Reputação Agentes avaliam o comportamento de outros agentes Mal comportamento → má reputação Bom comportamento → boa reputação Sistemas de Reputação Clássicos eBay, Amazon Auction Recebe informações sobre as negociações entre agentes Nestes casos, agentes são pessoas Avalia a reputação dos agentes Fornece a reputação de um agente para outro Ler e comentar: Sistemas de reputação avaliam o comportamento de outros agentes. A reputação vai variar de acordo com o seu comportamento. eBay e Amazon Auction são sistemas de reputação clássicos: Recebe informações sobre as negociações entre os agentes, agentes são pessoas e ; Baseado nestas informações a reputação dos agentes é avaliada e fica disponível para qualquer outro agente consultá-la. © LES/PUC-Rio

6 Modelo de Reputação Centralizado
Vantagens: (considerando sistemas multi-agentes de larga-escala) a reputação de um agente é sempre conhecida pelo sistema de reputação reúne todas as avaliações de um mesmo agente Desvantagens: considera todas as avaliações honestas, mas agentes podem mentir toda informação está centralizada em um único sistema de reputação centralizado valor de reputação global. Não considera contextos diferentes. Exemplos: eBay, Amazon Auctions e Sporas Avaliação de B = ** Avaliação de A = *** A B Sistema de Reputação Os sistemas de reputação mais famosos, como eBay, são implementações do modelo de reputação centralizado. O modelo de reputação centralizado é um modelo ao nível do sistema e funcionam da seguinte forma: Após uma negociação os agentes A e B fazem avaliações um do outro. Estas avaliações são armazenadas no sistema de reputação que faz a atualização das reputações de A e de B. As reputações ficam armazenadas e disponíveis para qualquer outro agente consultar a reputação, neste caso no agente C pretende comprar um produto do agente A aí ele pode consultar a reputação do agente e ficar a par dos problemas que aconteram em negociações anteriores e concluir se quer negociar o agente A ou então desistir do negócio. Como já falei, nestes sistemas os agentes são pessoas, porém são modelos bem sucedidos que serviram de inspiração para a criação de novos modelos, voltados para agentes de software. Ler vantagens e desvantagens C Qual a reputação de A ? *** © LES/PUC-Rio

7 Modelo descentralizado simples
Modelo de Reputação Descentralizado I/III Vantagens: o próprio agente é responsável pelo cálculo e armazenamento das reputações cada proprietário programa seu agente de software com estratégias particulares Desvantagens: somente é possível saber se um agente é confiável se já interagiu com ele anteriormente ? só considera ações de interação ao medir a confiança Modelo descentralizado simples Modelos descentralizados não são ao nível do sistema. São modelos desenhados para o agente de software. O modelo descentralizado simples modela a confiança entre dois agentes. Representa o mecanismo básico de reputação descentralizada e está presente em todos os modelos de reputação ao nível do agente de software. Um agente A após interagir com o agente B faz uma avaliação e atualiza a sua reputação, armazenando em seu repositório local. O mesmo ocorre com o agente B. Desta forma, através das interações diretas, os agentes podem saber se os outros agentes com quem interagiram são confiáveis ou não. O problema desta abordagem acontece quando temos, por exemplo, um agente C que nunca interagiu com o agente A e então não tem como saber se ele é confiável ou não. Vantagens: (i). O próprio agente é res... A DESCENTRALIZAÇÃO do mecanismo de reputação viabiliza seu uso em sistemas multi-agentes de larga escala, solucionando uma das desvantagens da abordagem anterior. (ii). cada proprietário programa seu agente de software com estratégias particulares para avaliação das interações, considerando as variáveis mais importantes segundo seus interesses. Desvantagens: (i). Somente é possível saber se um agente é confiável se o agente interessado já tiver interagido com ele anteriormente. ESTA DESVANTAGEM PIORA PORQUE ESTAMOS FALAMOS DE sistemas multi-agentes de larga escala porque pode ser difícil ocorrer interações repetidas entre os mesmos agentes. (ii) Só considera ações de interação no cálculo da reputação dos agentes. O AGENTE PODE violar normas que não estão relacionadas com ações de interação Qual a reputação de A ? © LES/PUC-Rio

8 Modelo de reputação baseado em testemunhos
Modelo de Reputação Descentralizado II/III Vantagem: agentes podem saber a reputação de outros agentes sem ter interagido anteriormente com eles Desvantagens: o agente não sabe quem já interagiu anteriormente com um determinado agente as reputações fornecidas por um agente são baseadas no ponto de vista deste agente pode ser difícil estabelecer uma quantidade de recomendações suficientes para saber se o agente é uma boa testemunha. não estarão dispostos a colaborar com seus concorrentes e por isso não irão repassar informações. Modelo de reputação baseado em testemunhos X 0,7 Para resolver este problema do modelo descentralizado simples, foi introduzida uma abordagem baseada em testemunhos, na qual agentes de software solicitam a reputação de um determinado agente para uma testemunha que já interagiu anteriormente com ele. Então o agente C pretende interagir com o agente A . Como ele nunca interagiu com ele não sabe se é confiável. Então ele consulta o agente B e obtém a reputação de A do ponto de vista do agente B Vantagem: A vantagem está na possibilidade de saber a reputação de um agente sem ter interagido com ele no passado, exatamente o problema que que tentamos resolver, através de recomendações repassadas por outros agentes. Desta forma, um agente C, que pretende interagir com o agente A mas não sabe se ele é confiável, pode solicitar a reputação de A para outro agente (agente B), que já interagiu anteriormente com ele. Desvantagem (dar um clique) (i). O agente C não sabe quem já interagiu anteriormente o agente A . POR ISSO O PROCESSO DE BUSCA para encontrar testemunhas pode ser inviável por ser muito lento, considerando sistemas de larga escala. (ii) As reputações fornecidas por um agente são baseadas no ponto de vista deste agente. AGENTES PODEM AVALIAR de maneira diferentes situações iguais e, por tanto, a violação de uma norma pode ser mais grave do ponto de vista de um agente que do ponto de vista de outro agente. (iii) EM UM SISTEMA MULTI-AGENTE DE LARGA ESCALA pode ser difícil ... AGENTES PODEM MENTIR E pode ser difícil saber se a recomendação é confiável. (iv) AGENTES QUE ESTÃO COMPETINDO POR CLIENTES, POR EXEMPLO, não estarão dispostos... Reputação do Agente A do ponto de vista do agente B © LES/PUC-Rio

9 Modelo de reputação baseado em reputação certificada
Modelo de Reputação Descentralizado III/III Vantagem: a reputação de um agente pode ser facilmente conhecida Desvantagens: a reputação de um agente será provavelmente superestimada as reputações certificadas estão influenciadas pelo ponto de vista dos agentes que forneceram as reputações Modelo de reputação baseado em reputação certificada Uma outra solução encontrada na literatura é o modelo de reputação baseado em reputação certificada. Após a negociação entre os agentes A e B, os agentes trocam as avaliações que fizeram. Depois ao interagir com o agente D, os agentes A e D também trocam as avaliações que fizeram um do outro. Agora o agente A armazenado com ele as avaliações que os agentes (B e D) fizeram sobre ele. Estas avaliações são chamadas “avaliações certificadas” e A não tem poder para alterá-las. Desta forma, se um agente C pretende interagir com o agente A, o agente C solicita o conjunto de avaliações certificadas ao agente A. Com base no conjunto de avaliações certificadas enviadas pelo próprio agente A, o agente C calcula a reputação certificada. Vantagens: (i). A reputação de um agente pode ser facilmente conhecida SE ESTE AGENTE já interagiu com algum outro agente do sistema. Desvantagens: (i). A reputação de um agente será provavelmente superestimada PORQUE AS AVALIAÇÕES ruins serão descartadas pelo agente. Este pode fornecer somente as suas avaliações boas quando algum outro agente lhe pergunta sua reputação. (ii) As reputações certificadas estão influenciadas pelo ponto de vista dos agentes que forneceram as certificações. VIOLAÇÕES IGUAIS PODEM SER TRATADAS DE FORMA DIFERENTES. (iii) Só considera ações de interação no cálculo da reputação dos agentes. O AGENTE PODE violar normas que não estão relacionadas com ações de interação [3]. Reputações do Agente A do ponto de vista dos agentes B e D © LES/PUC-Rio

10 Proposta Modelo de reputação híbrido Subsistema de Reputação
combina as características de abordagens centralizadas e descentralizadas Subsistema de Reputação implementado através do framework para cálculo de reputações de agentes de software baseado em testemunhos Nós estamos propondo um modelo de reputação que combina as características de abordagens centralizadas e descentralizadas, com o objetivo de superar os problemas que observados nos outros trabalhos. Apontar figura Em nossa abordagem, assim como nos modelos descentralizados, os agentes estão aptos a avaliar o comportamento anterior dos outros agentes e armazenar o valor da reputação de cada agente com que interagiu. Além disso, nossa abordagem também oferece um mecanismo de reputação ao nível de sistema para ser utilizado de forma complementar ao mecanismo descentralizado, oferecendo informações sobre todos os agentes que participam do sistema. Este mecanismo centralizado é capaz de receber testemunhos sobre violações de normas e as reputações são avaliadas considerando esses testemunhos. Um agente de software pode enviar mensagens testemunhando uma violação de norma ao sistema de julgamento, que envia o veredicto ao sistema de reputação. Qualquer agente pode enviar mensagens solicitando a reputação do agente com quem deseja interagir. O subsistema de reputação responderá as solicitações dos agentes, enviando a reputação do agente, baseado nos testemunhos de violações de normas enviados por outros agentes da aplicação. Para implementar os mecanismo de confiança e reputação ao nível do agente de software pode ser utilizado qualquer modelo descentralizado encontrado na literatura. A parte centralizada será detalhada na dissertação, deve ser implementada através do framework para calcular reputações baseada em testemunhos. Nós estamos assumindo que os agentes de software estão sempre desempenhando papeis dentro de organizações. © LES/PUC-Rio

11 Organizações Sistemas multi-agentes de larga escala são compostos por grupos ou organizações de agentes cada organização define seu próprio conjunto de normas. as normas devem ser obedecidas também nas suborganizações normas das suborganizações não podem contradizer as normas da superorganização podem ser mais restritivas do que as normas de origem Nós assumimos que sistemas multi-agentes de larga escala são compostos de (uma hierarquia de) organizações (ou grupos) onde agentes estão desempenhando papéis. Ler: Cada organização define seu próprio conjunto de normas; As normas devem ser obedecidas também nas suborganizações; Sendo que as normas das suborganizações não podem contradizer ... podem ser mais restritivas ... A figura ilustras as normas definidas nos diferentes níveis de uma hierarquia organizacional. As normas 1, 2, 3 e 4 são definidas no primeiro nível da hierarquia representada pela organização Org1. Estas quatro normas devem ser obedecidas pelos agentes ao desempenhar papeis na organização Org1 e também devem ser obedecidas pelos agentes ao desempenharem papeis nas suborganizações. A norma 5 mostra que as suborganizações podem definir suas próprias normas. As normas 6, 7, 8 e 9 exemplificam que suborganizações podem refinar as normas definidas nas superorganizações. Como consequência, os agentes que desempenham papeis na organização Org 1.2 devem obedecer de fato as normas 1, 7, 3 e 8. © LES/PUC-Rio

12 Organizações Exemplo: Normas da Org1 Normas da Org1.1
01. Consolidador deve entregar a carga para o importador no local determinado e no prazo estabelecido 02. O consolidador não pode alterar a data do embarque divulgada na programação de navios 03. O exportador tem que entregar a mercadoria ao consolidador contratado pelo importador dentro do prazo estabelecido Normas da Org1.1 Um exemplo ilustrando algumas normas definidas para o domínio de transporte e consolidação de cargas. As normas 1, 2 e 3 estão definidas no primeiro nível da hierarquia representada pela organização Org1. Essas 3 normas devem ser obedecidas pelos agentes ao desempenharem papeis na organização Org1 e também ao representarem papéis na suborganização Org1.1. A norma 4 ilustra que a suborganização pode redefinir uma norma da superorganização. Neste caso houve uma redefinição da norma 3, alterando uma obrigação do exportador, que fica responsável pela entrega da mercadoria ao importador. Significa que um agente ao desempenhar um papel na Org1.1 deverá obedecer as normas 1, 2 e 4. Cada organização ou suborganização tem o seu subsistema de reputação, implementado através do framework para cálculo de reputações de agentes de software, baseado nos testemunhos sobre violações de normas. 04. O exportador tem que entregar a mercadoria ao importador dentro do prazo estabelecido © LES/PUC-Rio

13 Framework para Cálculo de Reputações
Propósito Implementar organizações que avaliam a reputação de um agente baseado nos testemunhos de violações de normas enviados pelos agentes de software. Responsabilidades: receber os veredictos dos testemunhos, enviados pelo subsistema de julgamento; fazer o atendimento ao subsistema de julgamento e aos agentes do sistema, respondendo as requisições sobre as reputações dos agentes; calcular e armazenar as reputações dos agentes de acordo com os veredictos dos testemunhos. Os veredictos são classificados e armazenados como violação de norma ou falso testemunho; manter as reputações atualizadas. O propósito do framework para cálculo de reputações de agentes é oferecer um mecanismo de reputação para sistemas multi-agentes de larga escala com objetivo de permitir que os agentes de uma organização conheçam o comportamento de outros agentes, solicitando reputações baseadas nos veredictos dos testemunhos de violações de normas, mesmo sem ter interagido anteriormente com eles. As responsabilidades do framework são: receber os veredictos dos testemunhos, enviados pelo subsistema de julgamento; fazer o atendimento ao subsistema de julgamento e aos agentes do sistema, respondendo as requisições sobre as reputações dos agentes; calcular e armazenar as reputações dos agentes de acordo com os veredictos dos testemunhos. Os veredictos são classificados e armazenados como violação de norma ou falso testemunho; atualizar as reputações diariamente. © LES/PUC-Rio

14 O que vai exercer influência na reputação ?
Framework para Cálculo de Reputações O que vai exercer influência na reputação ? Gravidade da violação – variáveis definidas ao instanciar o framework normPower: normas diferentes influenciam as reputações de modos diferentes totalTime: por quanto tempo a violação influenciará na reputação Atenuante e Agravante confession: a confissão do agente diminui o a influência do poder da norma relapses: a reincidência de uma mesma norma aumenta a influência do poder da norma Normas – Transporte e Consolidação de Cargas Normas normPower totalTime confession No framework proposto as reputações são calculadas com base nos testemunhos de violações de normas. Os testemunhos são julgados pelo subsistema de julgamento. Então como é feito o cálculo da reputação ? O que vai influenciar no cálculo da reputação ? Temos um conjunto de variáveis, relacionados com as normas, definidas ao instanciar o framework. Para cada norma do sistema deverão ser informadas os valores das variáveis poder da norma e o tempo total que a violação irá influenciar na reputação do agente, sempre valores entre 0 e 1, que correspondem a gravidade da violação. Se o agente confessar a violação, a pena será atenuada. Será um agente violar a mesma norma mais de uma vez o sistema vai aplicar a pena de forma mais rígida, é um agravante. Para ilustrar eu separei duas normas do domínio de transporte e consolidação de cargas. O valor informado para o poder da norma deve ser um valor de 0 até 1. Quanto mais próximo de 1 mais grave a a norma. Então estamos considerando aqui que o fato do consolidador não entregar a mercadoria é bemmais grave do que o fato de alterar a data do embarque. A outra variável informada é o tempo total em que a violação vai exercer influência na reputação do agente. Neste exemplo a reputação será influenciada durante 60 dias e 30 dias para a segunda norma. 01. Consolidador deve entregar a carga para o importador no local determinado e no prazo estabelecido 1,0 60 1,0 02. O consolidador não pode alterar a data do embarque divulgada na programação de navios 0,5 10 0,5 © LES/PUC-Rio

15 O que vai exercer influência na reputação ?
Framework para Cálculo de Reputações O que vai exercer influência na reputação ? O percentual de culpa do agente blamePercentage: percentual recebido do sistema de julgamento A violação é “esquecida” remainingDays: normas violadas recentemente influenciam mais a reputação de um agente do que normas violadas a mais tempo totalTime(ni) – passedDays(aj,ni) remainingDays(aj,ni) = totalTime (ni) formulaInfluenceDef(aj) = (normPower * blamePercentage) * confession * (1/relapse) * remainingDays formulaReputation (aj) = 1 –  (formulaInfluenceDef(aj)) Supondo que o agente C violou a norma 1 O sistema de julgamento informa se o testemunho é verdadeiro, isto é, informa se o agente é culpado mesmo da violação da norma e informa o grau de culpa do agente. Conforme o tempo vai passando a violação vai influenciando cada vez menos e a reputação vai aumentando aos poucos, através desta fórmula, com base no tempo total de influência de cada norma. A fórmula para calcular a influência de uma violação de norma é essa aqui; multiplicamos todas as variáveis; A formula para calcular reputação essa: o resultado srá sempre um valor entre 0 e 1, quanto mais próximo de 1 melhor a reputação do agente. © LES/PUC-Rio

16 Exemplo: agente violou norma n2 em 01/05
Resultado: true (agente acusado foi considerado culpado) blamePercentage = 0,9 (grau de culpa do agente é de 90%) NormPower = 0,5 (poder da norma n1) TotalTime = 10 dias Confession = 1 (não houve confissão) Relapse = 1 (primeira vez que o agente violou esta norma) normPower* blamePercentage: 90% do poder da norma influenciando na reputação do agente - + © LES/PUC-Rio

17 Framework para Cálculo de Reputações
Hot spot: fórmulas de cálculo da reputação Um testemunho pode influenciar a reputação do agente como uma violação de norma ou como um falso testemunho. O valor referente a influência de um testemunho pode variar de 0 até 1. Aqui neste método é definida a fórmula para calcular a influência de cada testemunho. Originalmente esta é a fórmula oferecida pelo framework, automaticamente, mas que pode ser modificada. Simplesmente multiplica todas as variáveis envolvidas, conforme esta fórmula aqui embaixo. Esta é a fórmula para calcular a reputação, mas pode ser modificada. O resultado será sempre um valor entre 0 e 1, se for igual a zero próximo de zero significa má reputação e 1 ou próximo de 1 boa reputação. Existem três tipos de reputação. A reputação global vai considerar todas as violações e falsos testemunhos. A reputação por papel vai considerar somente as violações de normas e falsos testemunhos enquanto o agente desempenhava um determinado papel e por último a reputação por norma que considera somente as violações de uma norma específica. formulaReputation (aj) = 1 – x ∑0<i<=k [formulaInfluenceDef(aj)], se 0 <= ∑0<i<=k [formulaInfluenceDef(aj)] <= 1 , se ∑0<i<=k [formulaInfluenceDef(aj)] > 1 formulaInfluenceDef(aj) = (normPower * blamePercentage) * confession * (1/relapse) * remainingDays x = © LES/PUC-Rio

18 Conclusões Problemas solucionados com nossa abordagem:
Agentes não precisam interagir várias vezes com o mesmo agente para obter reputações consistentes; Não existe a necessidade de procurar um agente para obter recomendações; Ao contrário das reputações certificadas, as reputações fornecidas pelas organizações não estão superestimadas; As reputações fornecidas pelas organizações não estão influenciadas por opiniões de outros agentes e sim por testemunhos de violações de normas. Cada norma descreve de que forma a violação vai influenciar na reputação dos agentes. Combinando características centralizadas e descentralizadas, nossa abordagem resolveu os seguintes problemas : Ler itens: Agentes não precisam ….Eles podem consultar as organizações que armazenam as reputações baseada em experiências dos outros agentes. Não existe mais a necessidade… As organizações podem ser consultadas © LES/PUC-Rio

19 Em andamento Comparação com Regret System
Simulação: interações entre agentes contratantes X consolidadores Contratante deve escolher o agente mais confiável objetivos comparar a performance dos mecanismos de reputação, isto é, se os mecanismos estão permitindo que os agentes façam a melhor escolha em uma negociação. demonstrar o melhor aproveitamento na nossa proposta na medida em que aumentam o número de agentes A opção de fazer experimentos comparativos do nosso sistema de reputação com o Regret deve-se ao fato de ser um dos sistemas de confiança e reputação mais citados pelos artigos da área. A simulação consiste em interações entre agentes contratantes (exportadores e importadores) e agentes consolidadores, conforme a figura 3. Em cada sessão cada agente contratante tem a missão de escolher o agente mais confiável dentre 6 agentes consolidadores selecionados pelo simulador. São sempre 48 agentes contratantes, 12 de cada tipo de algoritmo de reputação, definidos abaixo: Um dos objetivos do experimento é verificar a performance dos mecanismos de reputação. Ao utilizar o mecanismo os agente contratante está evitando aqueles agentes consolidadores que oferecem algum risco ao transportar as mercadorias ? Outro objetivo é demonstrar que na medida em que aumenta o número de agentes a nossa abordagem obtém um melhor aproveitamento. Foram executadas cinco simulações, todas com 100 sessões, porém cada uma com uma quantidade diferente de agentes consolidadores. A primeira simulação contou com 36 agentes consolidadores e a cada simulação o número foi duplicado até chegar em 576 agentes consolidadores na quinta e última simulação. O objetivo foi demonstrar a queda de aproveitamento dos agentes contratantes na medida em que aumenta a quantidade de agentes consolidadores. A queda de aproveitamento acontece por causa do aumento do número de agentes consolidadores. As interações diretas entre agentes contratantes e consolidadores ficam cada vez mais escassas, por isso os mecanismos de reputação tornam-se menos eficientes. A simulação consiste em interações entre agentes contratantes (compradores ou vendedores) e agentes consolidadores, conforme a figura 3. Em cada sessão cada agente contratante tem a missão de escolher o agente mais confiável dentre 6 agentes consolidadores selecionados pelo simulador. São sempre 48 agentes contratantes, 12 de cada tipo de algoritmo de reputação, definidos abaixo: © LES/PUC-Rio

20 Em andamento ART-Testbed – Andrew Costa Nova versão do framework
Agent Reputation and Trust Competição e experimento Cada participante, representado por seu agente, precisa interagir com os outros agentes da competição para atingir seu objetivo Nova versão do framework Escrita da dissertação Achei importante também citar que o Andrew está implementando um agente para a competição ART Testbed utilizando conceitos do nosso framework; O ART Testbed é uma competição voltada exclusivamente para os mecanismos de confiança e reputação, onde o seu agente tem que aprender durante o jogo quem é quem, tem que saber o quanto pode confiar em cada outro agente, porque precisa dos outros participantes para atingir seu objetivo. Estou trabalhando também na versão final do framework, fazendo as alterações relacionadas as organizações E também estou escrevendo a dissertação. © LES/PUC-Rio

21 References Abdul-Rahman, A. and S. Hailes: 2000, Supporting Trust in Virtual Communities. In: Proceedings of the 33rd Hawaii International Conference on System Sciences, Vol. 6. Amazon Site. World Wide Web (2006) Castelfranchi, C. and R. Falcone: Social Trust: A Cognitive Approach. In: C. Castelfranchi and Y. Tan (eds.): Trust and Deception in Virtual Societies. Kluwer Academic Publishers (2001) pp. 55–90 eBay Site. World Wide Web (2006) Grandison, T., Sloman, M.: A Survey of Trust in Internet Applications. IEEE Communications Surveys & Tutorials 3(4) (2000) Huynh, T. D., Jennings N. R., Shadbolt, N. R.: FIRE: An Integrated Trust and Reputation Model for Open Multi-Agent Systems. In: Proceedings of the 16th European Conference on Artificial Intelligence (ECAI) (2004) pp. 18–22 Incoterms Site. Site World Wide Web (2006) Resnick, P., Zeckhauser, R., Friedman, E., Kuwabara, K.: Reputation Systems. In: Communications of ACM, vol. 43, number 12, p , December 2000. Sabater, J.:Trust and Reputation for Agent Societies. PhD thesis, Universitat Autonoma de Barcelona (UAB) (2003) © LES/PUC-Rio

22 References Sabater, J., Sierra, C.: Reputation and Social Network Analysis in Multi-Agent Systems. In: Proceedings of First International Conference on Autonomous Agents and Multiagent Systems (AAMAS), Bologna, Italy (2002) pp Silva, V., Lucena, C.: Governance in Multi-Agent Systems Based on Witnesses. Pontifical Catholic University of Rio de Janeiro (PUC-Rio). Rio de Janeiro - Brazil (2005) Skogsrud, H., Benatallah, B., Casati, F.: Model-Driven Trust Negotiation for Web Services. IEEE Internet Computing 7(6) (2003) pp. 45–52 Yu, B., Singh, M. P.: Distributed Reputation Management for Electronic Commerce. Computational Intelligence (2002) 18(4) pp Yu, B., Singh, M. P.: An Evidential Model of Distributed Reputation Management. In: Proceedings of First International Joint Conference on Autonomous Agents and Multi-Agent Systems (2002) Vol. 1. pp. 294–301 Zacharia, G. and P. Maes: 2000, Trust management through reputation mechanisms.Applied Artificial Intelligence 14(9), 881–908. © LES/PUC-Rio

23 Experimentos A opção de fazer experimentos comparativos do nosso sistema de reputação com o Regret deve-se ao fato de ser um dos sistemas de confiança e reputação mais citados por artigos da área. O objetivo do experimento é verificar a performance dos mecanismos de reputação ao selecionar agentes confiáveis, evitando aqueles agentes consolidadores que oferecem algum risco ao transportar as mercadorias. Foram executadas cinco simulações, todas com 100 sessões, porém cada uma com uma quantidade diferente de agentes consolidadores. A primeira simulação contou com 36 agentes consolidadores e a cada simulação o número foi duplicado até chegar em 576 agentes consolidadores na quinta e última simulação. O objetivo foi demonstrar a queda de aproveitamento dos agentes contratantes na medida em que aumenta a quantidade de agentes consolidadores. A queda de aproveitamento acontece por causa do aumento do número de agentes consolidadores. As interações diretas entre agentes contratantes e consolidadores ficam cada vez mais escassas, por isso os mecanismos de reputação tornam-se menos eficientes. A simulação consiste em interações entre agentes contratantes (compradores ou vendedores) e agentes consolidadores, conforme a figura 3. Em cada sessão cada agente contratante tem a missão de escolher o agente mais confiável dentre 6 agentes consolidadores selecionados pelo simulador. São sempre 48 agentes contratantes, 12 de cada tipo de algoritmo de reputação, definidos abaixo: © LES/PUC-Rio

24 Experimentos Agentes Contratantes
Random: São agentes que escolhem um agente consolidador de maneira aleatória. Direct Trust: São agentes dotados do mecanismo de cálculo da reputação subjetiva direct trust do sistema Regret. Utilizam o histórico de interações diretas anteriores para saber se o agente consolidador é confiável ou não. Direct Trust + Witness Reputation: São agentes dotados do mecanismo direct trust e witness reputation. Na segunda a reputação é obtida através dos testemunhos de outros agentes da sociedade e é utilizada quando o agente contratante nunca interagiu anteriormente com o agente consolidador. Embora na vida real os agentes possam mentir ou então enviar avaliações equivocadas geradas por programas defeituosos ou maliciosos, não estamos considerando estes problemas. Estamos considerando que todas os testemunhos enviados são corretos. O universo de testemunhas é limitado em 5 agentes, no máximo. A quantidade de testemunhas é calculada de forma randômica, de 0 até 5 agentes que já interagiram anteriormente com o agente alvo. Direct Trust + Reputation Subsystem: São agentes dotados do nosso sistema de reputação, que utiliza os testemunhos de violações de normas para saber se o agente consolidador é confiável ou não. O testemunho e a confissão de uma violação acontecem de forma aleatória. © LES/PUC-Rio

25 Experimentos Os agentes consolidadores variaram de 36 até 576. Na primeira simulação são 36 consolidadores, em seguida 72, 144, 288 e 576. Existem três tipos diferentes de agentes consolidadores, divididos em quantidades iguais dentro de cada simulação, definidos da seguinte forma: ·        Random: São agentes consolidadores que às vezes cometem violações. ·        Bom: São agentes bons, nunca cometem violações. ·        Ruim: Agentes que sempre cometem uma ou mais violações. Cada sessão da simulação tem 3 etapas: 1        O simulador seleciona 6 agentes consolidadores randomicamente para participarem da sessão. Pelo menos um agente bom terá que ser selecionado. 2        Cada agente utiliza o seu algoritmo para fazer a escolha do agente mais confiável, dentre os 6 consolidadores selecionados. O simulador armazena os resultados e cada agente alimenta seu sistema de reputação. © LES/PUC-Rio

26 Experimentos O gráfico 1 apresenta o percentual de aproveitamento dos agentes contratantes nas cinco simulações. Com exceção dos agentes contratantes do tipo Random, que teve baixo aproveitamento em todas as simulações, o aproveitamento dos demais agentes diminuiu na medida em que o número de agentes consolidadores aumentou. É possível observar também que o melhor aproveitamento, em todas as simulações, foi obtido pelos agentes contratantes que utilizaram o mecanismo direct trust combinado com nosso mecanismo de reputação (DT+Reputation). Na primeira simulação, com 36 agentes consolidadores, o aproveitamento entre os mecanismos foi o mais próximo. A diferença aumentou nas simulações seguintes, quando o número de consolidadores dobrou para 72, 144 e 288, uma vez que as performances dos agentes do tipo Direct Trust e DT+Witness tiveram uma queda mais acentuada. © LES/PUC-Rio

27 Experimentos O gráfico 2 mostra a evolução do grau de satisfação ao longo das sessões da terceira simulação, por tipo de mecanismo de reputação utilizado pelos agentes contratantes. Nesta simulação existiam 144 agentes consolidadores. O eixo y representa a média dos graus de satisfação das últimas 10 sessões, por tipo de mecanismo. Observamos que já após as dez primeiras sessões o nosso mecanismo de reputação já apresenta um desempenho razoável e atinge níveis próximos do ótimo mais rapidamente do que os demais mecanismos. Significa que os agentes contratantes passam a ter maior conhecimento sobre os agentes com quem precisa interagir e desta forma consegue selecionar agentes mais confiáveis diminuindo os riscos nas interações. © LES/PUC-Rio