群強化学習法の開発

小组强化学习方法的发展

• 批准号: 19650031
• 负责人: 飯間 等
• 金额: $ 1.15万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19650031/
• 关键词: 強化学習; Particle Swarm Optimization; アントコロニー最適化法; 群知能

通常の強化学習では一つのエージェントのみを用いて学習を行うので複雑な問題では学習に時間がかかりすぎるという欠点がある。したがって、強化学習の実用化に向けて学習を高速に行う新しい方法を開発することが必要不可欠である。本研究では、短時間で学習を行うために複数のエージェントを用意し、各エージェントが通常の強化学習法で学習を行うとともに、エージェント間の情報交換により他のエージェントの学習成果を参照して学習を行う群強化学習法を提案した。本年度は、鳥の群れ行動にヒントを得た最適化手法であるParticle Swarm Optimizationを用いた群強化学習法におけるエージェント間の情報交換方法を提案した。また、各エージェントが行う個別学習法として、SarsaやActor-Criticを用いた方法を提案した。また、より複雑な問題に対する群強化学習法の有効性を検証するために、倒立振子制御問題、サッカーゲーム問題、マルチエージェント環境の問題に群強化学習法を適用し、これらの問題に対しても短時間に良い方策を獲得できることを確認した。さらに、蟻の群れ行動にヒントを得た最適化手法であるアントコロニー最適化法を用いた群強化学習法を提案した。この群強化学習法では他のエージェントの学習成果を行動選択に利用する新しい枠組みを用いている。以上の成果より、従来の1エージェント強化学習法より短時間に良い方策を獲得できる群強化学習法を開発することができた。

在正常的强化学习中，学习仅使用一个代理进行学习，因此复杂的问题的缺点是学习花费太长。因此，开发新方法以便为实践使用增强学习做准备是至关重要的。在这项研究中，我们提出了一种小组增强学习方法，其中准备多个代理在短时间内进行学习，每个代理商都使用通常的强化学习方法学习，并通过参考代理之间的信息交换来学习其他代理的学习结果。今年，我们提出了一种使用粒子群优化的组加固学习方法中代理之间交换信息的方法，这是一种受鸟类羊群行为启发的优化技术。此外，我们提出了一种使用SARSA和Actor-Critic作为每个代理商执行的单个学习方法的方法。此外，为了验证群体强化学习方法解决更复杂的问题的有效性，我们将群体加固学习方法应用于倒置的摆控制问题，足球游戏问题和多代理环境问题，并确认可以在短时间内为这些问题获得良好的策略。此外，我们提出了一种使用蚂蚁菌落优化的组增强学习方法，这是一种受蚂蚁群行为启发的优化方法。该组强化学习方法使用了一个新框架，该框架利用其他代理的学习成果进行行为选择。从上述结果中，我们能够开发一种小组加强学习方法，该方法可以在短时间内获得比传统的单机构增强学习方法获得更好的策略。