Development a general-purpose imperfect information game AI that surpasses humans

开发超越人类的通用不完美信息游戏AI

基本信息

批准号：
22K12339
负责人：
橋本剛
金额：
$ 2.58万
依托单位：
Matsue National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2027-03-31
项目状态：
未结题

项目摘要

不完全情報ゲーム研究の題材として、ガイスターを中心に開発を行った。まず、モンテカルロ木探索の代表的な手法であるUCT探索の実装と研究を行った。完全情報ゲームの探索方法を不完全情報ゲームに用いると戦略融合の影響を受ける。既存手法では戦略融合の悪影響を受けやすいが、他の方法はこれまで検討されていない。そこで、探索内部で不完全情報を扱う仕組みを新たにいくつか提案し、対戦実験によりその性能を明らかにした。また、近年ガイスター研究で成果を上げた、方策勾配法を用いた評価方法を探索に用いる手法が開発されていないので、UCT探索に方策勾配法で求まる行動確率を用いる手法をいくつか提案し、対戦実験によってそれらの性能を評価した。実験結果から、優勝したAI を上回る強さが確認できた。ガイスター以外の不完全情報ゲーム研究では、AlphaZeroを不完全情報ゲームのChinese dark chess（CDC）とEinStein Wurfelt Nicht!（EWN）に適用し、パラメータ設定が学習に与える影響を調べた。具体的には局面を全列挙するlookup tableを用いたAlphaZeroに、完全解析された2×4 CDCと3×3 EWNと3×4 EWNを学習させ、その結果を理論勝率と最適戦略と比較した。実験の結果から、最善手を学習できるパラメータ設定の範囲が広いことがわかった。2×4 CDCの結果に基づき、通常のサイズの4×8 CDCの学習を試した。この手法を用いたAIが2022年7月に開催されたComputer Olympiad CDC大会で優勝した。また、人間を超えることを考えると、人間がどうプレイするかを調べることも重要であると考え、多腕バンディット問題と格闘ゲームとポケモン対戦において、認知バイアスと読み合いに関連する研究も行った。

我们主要开发Geister作为不完全信息博弈研究的课题。首先，我们实现并研究了UCT搜索，这是蒙特卡罗树搜索的典型方法。当完美信息博弈的搜索方法应用于不完全信息博弈时，会受到策略融合的影响。现有方法容易受到策略融合的负面影响，但目前尚未考虑其他方法。因此，我们提出了几种处理搜索中不完整信息的新机制，并通过竞争性实验阐明了它们的性能。此外，由于还没有开发出使用近年来在 Geister 研究中取得成果的策略梯度法的评估方法进行搜索，因此我们提出了几种使用策略梯度法确定的动作概率进行搜索的方法。 UCT 搜索通过竞争性实验评估了他们的表现。实验结果证实它比获胜的AI更强。在Geister以外的不完全信息博弈研究中，将AlphaZero应用于不完全信息博弈中国黑棋（CDC）和EinStein Wurfelt Nicht!（EWN）来考察参数设置对学习的影响。具体来说，我们训练了 AlphaZero，它使用枚举所有位置的查找表来学习充分分析的 2×4 CDC、3×3 EWN 和 3×4 EWN，并将结果与理论胜率和最优策略进行比较。实验结果表明，有多种参数设置可以学习最佳动作。基于2×4 CDC的结果，我们尝试学习常规尺寸的4×8 CDC。使用这种方法的人工智能赢得了 2022 年 7 月举行的计算机奥林匹克 CDC 竞赛。此外，考虑到它比人类更好，我们认为研究人类如何玩很重要，因此我们在多臂强盗问题、格斗游戏和神奇宝贝战斗中进行了与认知偏差和互读相关的研究。