The Development of educational system using imitation learning agent which imitates learner's behavior

使用模仿学习者行为的模仿学习代理开发教育系统

• 批准号: 19K12260
• 负责人: 植野 雅之
• 金额: $ 2.66万
• 依托单位: Osaka Electro-Communication University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K12260/
• 关键词: 模倣学習エージェント; 説明可能なAI; 機械学習; 模倣学習; 教育エージェント; 敵対的生成ネットワーク; 論理的ボードゲーム; スキル学習

昨年度までの研究では、機械学習を用いた模倣学習エージェントの構築に注力した。特に、論理的ボードゲームの戦術・戦略的スキルの学習に重点を置き、大量の棋譜データを用いてその生成に取り組んだ。しかし、模倣学習エージェントを自分自身や他人と対戦させ、または多数の模倣学習エージェント同士の仮想対戦を通じた学習方法は、必ずしも十分な教育効果を保証するものではなかった。そこで、「プレイ戦略分析システム」の開発を進め、学習者の戦略の理解と分析を支援しようとした。しかし、このシステムの構築には困難が伴い、完全な支援機能の実現は困難であるとの結論に達した。その中で、解決策として見い出したのが説明可能なAI（XAI）の導入であった。XAIは機械学習が学習した内容を人間が解釈可能にする技術で、ブラックボックス化されたモデルをホワイトボックス化し、理解可能にする。このXAIを模倣学習エージェントに導入することで，「局所説明」によって、エージェントがある局面での行動を選択する際に、具体的に盤面のどの部分が影響を及ぼしているかを明確にすることが可能となった。これにより、学習者がエージェントの振る舞いやその背後にある戦略的思考を改めて確認することができる。現在，我々は模倣学習エージェントの学習と利用を実用的なレベルに高めるため，アルゴリズムのパフォーマンス改善をおこなっている。また，戦略の可視化は実現できたが，その意味を読み取ることが難しい場合も多いため，言語化して説明する手法の開発もおこなっている。これにより，学習者はエージェントの行動や戦略をさらに深く理解し、異なるエージェントを比較するといったことが容易におこなえるようになることを期待している．これらの技術開発により，模倣学習エージェントを実用的に利用することが可能であることを実証していきたい．

直到去年的研究都集中在使用机器学习的建立模仿学习剂上。特别是，我们专注于学习逻辑棋盘游戏中的策略和战略技能，并致力于使用大量游戏记录来生成它们。但是，模仿学习者与自己或他人竞争的学习方法，或通过许多模仿学习者之间的虚拟战斗并不一定能保证足够的教育有效性。因此，他们继续开发“游戏策略分析系统”，并试图支持学习者对策略的理解和分析。但是，已经得出结论，构建该系统很困难，很难实现完整的支持功能。其中，我们发现的解决方案是引入可解释的AI（XAI）。 XAI是一项允许人类解释机器学习所学的内容，并使黑色盒装模型白色盒装和可理解的内容。通过将此XAI引入模仿学习代理人，可以澄清董事会的哪一部分在通过“本地解释”中选择某种情况下的行动时影响代理。这使学习者可以重申代理人的行为及其背后的战略思想。目前，我们正在改善算法的性能，以将模仿学习剂的学习和使用提高到实用水平。此外，尽管策略已被可视化，但通常很难阅读这些策略的含义，因此我们还在开发用文字解释它们的方法。这希望学习者能够对代理人的行为和策略有更深入的了解，并轻松比较不同的代理。我们想证明，这些技术发展使实际使用模仿学习媒介成为可能。

项目成果

模倣学習エージェントを用いたゲーム戦略学習環境の構想

使用模仿学习代理的游戏策略学习环境的概念

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸

人間プレーヤーを模倣する模倣エージェントによる教育的対戦環境

具有模仿人类玩家的模仿代理的教育竞争环境

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸

Learning Support by Visualizing Game Strategies From Imitation Learning Agents

• DOI: 10.1109/gcce56475.2022.10014419
• 发表时间: 2022-10
• 期刊: 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
• 作者: Masayuki Ueno;T. Takami

「学習者の振る舞いを模倣する模倣学習エージェントを用いた教育システムの開発」

“使用模仿学习者行为的模仿学习代理开发教育系统”

模倣学習エージェントを用いた教育的対戦環境とプレイ戦略分析システム

使用模仿学习代理的教育竞争环境和游戏策略分析系统

• 发表时间: 2019
• 作者: UENO Masayuki,WADA Shinjiro;TAKAMI Tomoyuki;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸;植野 雅之，和田 慎二郎，高見 友幸
• 通讯作者: 植野 雅之，和田 慎二郎，高見 友幸