Aprendizagem Viviane Torres da Silva

Introdução Sistemas de aprendizagem são sistemas adaptáveis e com técnicas de aprendizagem O conjunto de situações é tão grande que não definimos todas as possibilidades quando descrevemos o problema Aprendizagem: melhora do comportamento futuro baseado na experiência passada Normalmente dizemos que se o agente inteligente então é porque ele tem a capacidade de aprender. E se tem a capacidade de aprender então é porque o agente é inteligente.

Aprendizagem Aprendizagem de um agente –O agente tem a capacidade de aprender e melhorar seu rendimento e o rendimento do sistema Aprendizagem do sistema multi-agente –Não é simplesmente a soma da aprendizagem de todos os agentes do sistema de maneira isolada –A aprendizagem de um agente é influenciada pelos demais agentes –Vários agentes podem aprender de uma maneira distribuída e interativa como se fossem um único corpo

Categoria principal Processo de aprendizagem: planejamento, inferência e passos de decisões Aprendizagem centralizado (aprendizagem isolada) –Todos as etapas do processo de aprendizagem são executadas por um único agente que não interage com os outros –O agente é completamente independente dos outros Aprendizagem descentralizada (aprendizagem interativa) –Vários agentes estão envolvidos no processo de aprendizagem –As atividades do processo de aprendizagem são executadas por diferentes agentes

Características da aprendizagemI/IV Grau de descentralização –Distribuição e paralelismo das atividades do processo de aprendizagem Características especificas da interação –Nível de interação (desde pura observação até diálogos complexos como a negociação) –Persistência da interação (desde pouca até muita) –Freqüência da interação (desde pouca interação até muita) –Padrão de interação (desde completamente não estruturada até hierárquica) –Variedade da interação (desde fixa até variável) Características específicas do envolvimento –Relevância do envolvimento –Papel desempenhado na interação (generalista, aquele executa todas as tarefas do processo de aprendizagem, ou especialista, que executa somente algumas)

Características da aprendizagemII/IV Características específicas do objetivo –Tipo de melhora que o agente deseja alcançar com a aprendizagem –Compatibilidade entre os objetivos de aprendizagem dos agentes Método ou estratégia de aprendizagem –Aprendizagem direta (implantação do conhecimento sem necessidade de inferência do aprendiz) –Aprendizagem a partir de um conselho ou instrução (aprende quando recebe um conselho, não foi una experiência do agente) –Aprendizagem por exemplos ou práticas (extração ou refinamento do conhecimento a partir de experiências positivas ou negativas) –Aprendizagem por analogia (conhecimento adquirido a partir de soluções de problemas similares) –Aprendizagem por descoberta (conhecimento adquirido a partir de observações, execuções de experimentos, teste de hipóteses,…)

Características da aprendizagemIII/IV Reação da aprendizagem –Aprendizagem inspecionada a resposta enviada pelo tutor especifica as atividades desejadas o objetivo da aprendizagem é treinar os agentes –Aprendizagem por reforço a resposta somente informa a utilidade da atividade realizada pelo aprendiz o objetivo da aprendizagem é maximizar a função de utilidade –Aprendizagem não inspecionada Nenhuma resposta é fornecida O objetivo é encontrar atividades úteis e desejadas utilizando o processo de tentativa e erro

Características da aprendizagemIV/IV Reação da aprendizagem –As respostas à ações são fornecidas pelo ambiente ou por outros agentes do sistema –São eles que ensinam o agente no caso de aprendizagem inspecionada –São eles que criticam o agente no caso de aprendizagem por reforço –São eles que observam o agente no caso de aprendizagem não inspecionada

Problema da atribuição de créditos e culpas A resposta do ambiente e dos outros agentes avaliam o comportamento do agente A resposta dará crédito para os comportamentos bons e punirá o agente por mal comportamento Avaliação inter-agente: –Avalia todo o comportamento em geral (varias ações de uma só vez) –Problema no caso de sistemas multi-agente: Como saber qual agente executou qual tarefa? Avaliação intra-agente: –Avalia uma determinada ação do agente

Problema da aprendizagem por reforço em SMA Aprendizagem por reforço pode ser utilizada quando: –Os agentes têm pouco ou nenhum conhecimento do domínio –Os agentes têm pouca informação sobre as capacidades e os objetivos dos outros agentes Problemas: –Pouca informação sobre os outros agentes torna a coordenação ainda mais difícil –Quando os agentes necessitam comunicar-se para coordenar-se, se a qualidade da comunicação é má, a coordenação é afetada

Características da aprendizagem por reforço em SMA Acoplamento entre os agentes: –Uma ação de um agente pode afeta muito ou pouco os planos de outros agentes Relação entre os agentes –Os agentes podem estar agrupados para alcançar um objetivo –Os agentes interagem através do recurso que utilizam –Os agentes tem interesses distintos Tempo de resposta –O tempo de resposta do ambiente depois que a ação foi executada pode variar de um domínio para outro Combinações de comportamentos –Quantas combinações de comportamento irão encontrar um solução ótima?

Exemplos 1. Os agentes aprendem a empurrar uma caixa de um local ao local objetivo –Acoplamento entre os agentes: muito acoplados –Relação entre os agentes: cooperação ou competição –Tempo de resposta: imediato –Combinações de comportamentos: múltiplos comportamentos ótimos 2. Dois agentes que necessitam aprender a compartilhar um recurso –Acoplamento entre os agentes: muito acoplados –Relação entre os agentes: cooperação –Tempo de resposta: com atraso (não sabem em um determinado momento se estão fazendo bem) –Combinação de comportamentos: único comportamento ótimo

Aprendendo a partir de outros agentes Aprendendo os papéis de una organização: –Os agentes necessitam aprender a executar de acordo com os papéis que irão desempenhar –Necessitam aprender a estrutura dos papéis da organização para colaborar com os demais agentes Aprendendo para se beneficiar da negociação: –Os agentes necessitam se adaptar às condições do ambiente onde está ocorrendo a negociação –Os agentes podem aprender como os demais agentes pensam para tentar melhorar a negociação. Ex: o vendedor aprende quais são os desejos do comprador Aprendendo para melhor combater o oponente –O agente pode aprender quais são os golpes que o oponente executa, qual é a melhor maneira de se esquivar dos golpes e os pontos de debilidade do oponente

Aprendizagem e ComunicaçãoI/II Aprendendo a comunicar-se: –A aprendizagem é um método para o aprendiz aprender a se comunicar Comunicação como método de aprendizagem: –A comunicação é o método utilizado para o aprendiz aprender O que comunicar? –Que informação é de interesse para os outros? Quando comunicar? –Quanto tempo o agente deve dedicar-se somente a solucionar um problema antes de comunicar-se com outros agentes?

Aprendizagem e Comunicação II/II Com quem comunicar? –Quais agentes estão interessados na informação? –Quais agentes devem ser perguntados? Como comunicar? –Qual linguagem deve utilizada?