A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Uma proposta para resolver o problema de loop no LSDraughts e no VisionDraughts: criação de um jogador de final de jogo Valquíria Ap. Rosa Duarte Orientadora:

Apresentações semelhantes


Apresentação em tema: "Uma proposta para resolver o problema de loop no LSDraughts e no VisionDraughts: criação de um jogador de final de jogo Valquíria Ap. Rosa Duarte Orientadora:"— Transcrição da apresentação:

1 Uma proposta para resolver o problema de loop no LSDraughts e no VisionDraughts: criação de um jogador de final de jogo Valquíria Ap. Rosa Duarte Orientadora: Profa. Dra. Rita Maria Silva Julia Universidade Federal de Uberlândia - UFU Faculdade de Computação Mestrado em Ciências da Computação

2 II Workshop de Dissertações – Mestrado em Ciência da Computação 2/18 Estrutura da apresentação Introdução e motivação Trabalhos relacionados Proposta - Jogador de final de jogo Resultados esperados Cronograma Referências

3 II Workshop de Dissertações – Mestrado em Ciência da Computação 3/18 Introdução e Motivação Jogador baseado nos jogadores NeuroDraughts e LS-VisionDraughts Problemas de loop encontrado nesses jogadores Empate de jogos que estão em condições de vitória Melhoria da eficiência dos jogadores

4 II Workshop de Dissertações – Mestrado em Ciência da Computação 4/18 Trabalhos relacionados Jogos de tabuleiros: NeuroDraughts LS-Draughts VisionDraughts Chinook Anaconda GO

5 II Workshop de Dissertações – Mestrado em Ciência da Computação 5/18 NeuroDraughts Utiliza o mínimo de intervenção possível Regras do jogo e conjunto de características Aprendizado por TD( λ ) e aprendizagem por reforço Influência das características Treinamento por self-play com clonagem

6 II Workshop de Dissertações – Mestrado em Ciência da Computação 6/18 LS-Draughts Extensão do NeuroDraughts Características selecionadas através de AG Sistema gerador de agentes jogadores Busca minimax Presença de loops Longo período de treinamento

7 7/18 LS-Draughts - Mapeamento por Características

8 II Workshop de Dissertações – Mestrado em Ciência da Computação 8/18 VisionDraughts Altera a arquitetura do NeuroDraughts: Substitui minimax por busca eficiente com poda alfa- beta, tabela de transposição e iterative deepening Acrescenta base de dados de final de jogo Redução em 95% do tempo de busca Menor incidência de loops

9 II Workshop de Dissertações – Mestrado em Ciência da Computação 9/18 Outros jogadores Chinook: Campeão mundial homem-máquina Forte conhecimento humano - Marion Tinsley Ajuste manual das funções Usado para testar a eficiência do jogador de final de jogo Anaconda: Mínimo de intervenção humana possível Aprendizado baseado em Redes Neurais Presença de loops Go: Presença de loops Generalized thermography

10 II Workshop de Dissertações – Mestrado em Ciência da Computação 10/18 Nossa proposta – Jogador de final de Jogo Ordenação parcial em todos os nós da árvore de busca Aumentar o número de podas Alcançar maior profundidade de busca (look ahead) Aumentar a visão do jogador Criação de uma segunda rede neural MLP Agente de final de jogo Base de dados – Redes de Kohonen

11 11/18 Arquitetura do jogador ALGORITMO GENÉTICO (AG) CONJUNTO CARACTERÍSTICAS (CC) ALFA BETA ITERATIVE DEEPENING TABELA TRANSPOSIÇÃO TABULEIRO ESTADO S 0 REDE NEURAL (RN) REAJUSTE PESOS (RP) Obs: tem acesso ao valor de P ( M - 1) REDE NEURAL (RN) Obs: corresponde à rede RN comos pesos reajustados Um Individuo Mapeamento de S i PiPi P m (5) PmPm (9) Novos Pesos (6) RN com pesos reajustados (7) Mapeamento de S n (8) (1) S n (3) Mapeamento de S m (4) Si, iésima folha de S 0 (2)

12 II Workshop de Dissertações – Mestrado em Ciência da Computação 12/18 Criação de uma segunda rede neural - MLP Versão multi-agente do jogador LS-VisionDraugths Duas redes neurais: Inicio até meio do jogo: LS-VisionDraughts Meio até final do jogo:jogador de final de jogo Especialidade da segunda rede: jogar em tabuleiros que tenha como estado inicial 10 peças ou menos.

13 II Workshop de Dissertações – Mestrado em Ciência da Computação 13/18 Criação de uma segunda rede neural (cont.) Obtida a partir do treinamento envolvendo gerações de redes neurais especializadas em estados de final de jogo, que são minerados por Redes de Kohonen Aprendizado por reforço e por TD( λ )

14 II Workshop de Dissertações – Mestrado em Ciência da Computação 14/18 Aspectos gerais do jogador de final de jogo Características iniciais: idem usadas no LS-Draughts Uso de um AG para selecionar um conjunto mínimo de características de final de jogo Treinamento feito através de Aprendizagem por reforço TD ( λ ) com self-play com clonagem

15 II Workshop de Dissertações – Mestrado em Ciência da Computação 15/18 Seleção de estados de tabuleiro com 10 peças Por que 10 peças no tabuleiro? Base de dados formada a partir da junção dos jogadores LS e VisionDraughts Classificação dos estados da base através de Redes de Kohonen Seleção feita por incidência dos estados na base

16 II Workshop de Dissertações – Mestrado em Ciência da Computação 16/18 Resultados esperados Jogador de final de jogo competitivo Conjunto mínimo de características para representar final de partida Mínimo de intervenção humana no treinamento da rede Eliminar ou, no mínimo, reduzir situações de loops indesejáveis

17 II Workshop de Dissertações – Mestrado em Ciência da Computação 17/18 Cronograma

18 18/18 Referências BERLEKAMP, E. (1996). The economists view of combinatorial games. Proceedings of MSRI Workshop on Combinatorial Games. CAIXETA, G. S. (2008). Visiondraughts -um sistema de aprendizagem de jogos de damas baseado em redes neurais, diferenças temporais, algoritmos eficientes de busca em árvores e informações perfeitas contidas em bases de dados. Masters thesis, Universidade Federal de Uberlândia. Caixeta, G. S. and da Silva Julia, R. M. (2008). A draughts learning system based on neural networks and temporal differences: The impact of an efficient tree-search algorithm. The 19th Brazilian Symposium on Artificial Intelligence, SBIA CHELLAPILLA, K. and FOGEL, D. B. (2000). Anaconda defeats hoyle 6-0: A case study competing an evolved checkers program against commercially available software. Proceedings of the 2000 Congress on Evolutionary Computation CEC00, La Jolla Marriott Hotel La Jolla, California, USA, page 857. LYNCH, M. (2007). Neurodraughts - an application of temporal diference learning to draughts.Masters thesis, Dept. of CSIS, University of Limerick, Ireland. NETO, H. C. (2007). Ls-draughts - um sistema de aprendizagem de jogos de damas baseado em algoritmos genéticos, redes neurais e diferenças temporais. Masters thesis, Universidade Federal de Uberlândia. NETO, H. C., JULIA, R. M. S., and Caixeta, G. (2008). LS-Draughts- A Draughts Learning System Based on Genetic Algorithms, Neural Network and Temporal Differences, pages 73– 82. Kirchengasse: I-Tech Educational and Publishing KG,2008.


Carregar ppt "Uma proposta para resolver o problema de loop no LSDraughts e no VisionDraughts: criação de um jogador de final de jogo Valquíria Ap. Rosa Duarte Orientadora:"

Apresentações semelhantes


Anúncios Google