The Development of educational system using imitation learning agent which imitates learner's behavior

使用模仿学习者行为的模仿学习代理开发教育系统

• 批准号: 19K12260
• 负责人: 植野 雅之
• 金额: $ 2.66万
• 依托单位: Osaka Electro-Communication University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K12260/
• 关键词: 模倣学習エージェント; 説明可能なAI; 機械学習; 模倣学習; 教育エージェント; 敵対的生成ネットワーク; 論理的ボードゲーム; スキル学習

昨年度までの研究では、機械学習を用いた模倣学習エージェントの構築に注力した。特に、論理的ボードゲームの戦術・戦略的スキルの学習に重点を置き、大量の棋譜データを用いてその生成に取り組んだ。しかし、模倣学習エージェントを自分自身や他人と対戦させ、または多数の模倣学習エージェント同士の仮想対戦を通じた学習方法は、必ずしも十分な教育効果を保証するものではなかった。そこで、「プレイ戦略分析システム」の開発を進め、学習者の戦略の理解と分析を支援しようとした。しかし、このシステムの構築には困難が伴い、完全な支援機能の実現は困難であるとの結論に達した。その中で、解決策として見い出したのが説明可能なAI（XAI）の導入であった。XAIは機械学習が学習した内容を人間が解釈可能にする技術で、ブラックボックス化されたモデルをホワイトボックス化し、理解可能にする。このXAIを模倣学習エージェントに導入することで，「局所説明」によって、エージェントがある局面での行動を選択する際に、具体的に盤面のどの部分が影響を及ぼしているかを明確にすることが可能となった。これにより、学習者がエージェントの振る舞いやその背後にある戦略的思考を改めて確認することができる。現在，我々は模倣学習エージェントの学習と利用を実用的なレベルに高めるため，アルゴリズムのパフォーマンス改善をおこなっている。また，戦略の可視化は実現できたが，その意味を読み取ることが難しい場合も多いため，言語化して説明する手法の開発もおこなっている。これにより，学習者はエージェントの行動や戦略をさらに深く理解し、異なるエージェントを比較するといったことが容易におこなえるようになることを期待している．これらの技術開発により，模倣学習エージェントを実用的に利用することが可能であることを実証していきたい．

在去年之前的研究中，我们专注于使用机器学习构建模仿学习代理。特别是，我们专注于学习逻辑棋盘游戏的战术和战略技能，并致力于利用大量的游戏记录数据来生成它们。然而，模仿学习主体与自己或他人竞争，或者通过大量模仿学习主体之间的虚拟竞争的学习方法，并不能保证足够的教育效果。因此，我们着手开发“游戏策略分析系统”来帮助学习者理解和分析他们的策略。但该系统建设困难重重，最终得出的结论是难以实现完整的支撑功能。他们找到的解决方案是引入可解释的人工智能（XAI）。 XAI是一项技术，可以让人类解释机器学习所学到的知识，将黑盒模型变成白盒并使其易于理解。通过将此 XAI 引入到模仿学习代理中，可以使用“局部解释”来阐明棋盘的哪一部分在特定情况下具体影响代理的动作选择。这使得学习者能够重新确认智能体的行为及其背后的战略思维。目前，我们正在改进算法的性能，以便将模仿学习代理的学习和使用提升到实用水平。此外，虽然我们已经能够形象化该策略，但通常很难破译其含义，因此我们也在开发一种口头解释它的方法。我们希望这将使学习者能够更深入地理解智能体的行为和策略，并轻松地比较不同的智能体。通过开发这些技术，我们想证明实际使用模仿学习代理是可能的。

项目成果

模倣学習エージェントを用いたゲーム戦略学習環境の構想

使用模仿学习代理的游戏策略学习环境的概念

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸

人間プレーヤーを模倣する模倣エージェントによる教育的対戦環境

具有模仿人类玩家的模仿代理的教育竞争环境

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸

Learning Support by Visualizing Game Strategies From Imitation Learning Agents

• DOI: 10.1109/gcce56475.2022.10014419
• 发表时间: 2022-10
• 期刊: 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
• 作者: Masayuki Ueno;T. Takami

「学習者の振る舞いを模倣する模倣学習エージェントを用いた教育システムの開発」

“使用模仿学习者行为的模仿学习代理开发教育系统”

模倣学習エージェントを用いた教育的対戦環境とプレイ戦略分析システム

使用模仿学习代理的教育竞争环境和游戏策略分析系统

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸