群強化学習法の開発

小组强化学习方法的发展

• 批准号: 19650031
• 负责人: 飯間 等
• 金额: $ 1.15万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19650031/
• 关键词: 強化学習; Particle Swarm Optimization; アントコロニー最適化法; 群知能

通常の強化学習では一つのエージェントのみを用いて学習を行うので複雑な問題では学習に時間がかかりすぎるという欠点がある。したがって、強化学習の実用化に向けて学習を高速に行う新しい方法を開発することが必要不可欠である。本研究では、短時間で学習を行うために複数のエージェントを用意し、各エージェントが通常の強化学習法で学習を行うとともに、エージェント間の情報交換により他のエージェントの学習成果を参照して学習を行う群強化学習法を提案した。本年度は、鳥の群れ行動にヒントを得た最適化手法であるParticle Swarm Optimizationを用いた群強化学習法におけるエージェント間の情報交換方法を提案した。また、各エージェントが行う個別学習法として、SarsaやActor-Criticを用いた方法を提案した。また、より複雑な問題に対する群強化学習法の有効性を検証するために、倒立振子制御問題、サッカーゲーム問題、マルチエージェント環境の問題に群強化学習法を適用し、これらの問題に対しても短時間に良い方策を獲得できることを確認した。さらに、蟻の群れ行動にヒントを得た最適化手法であるアントコロニー最適化法を用いた群強化学習法を提案した。この群強化学習法では他のエージェントの学習成果を行動選択に利用する新しい枠組みを用いている。以上の成果より、従来の1エージェント強化学習法より短時間に良い方策を獲得できる群強化学習法を開発することができた。

普通强化学习仅使用一个代理进行学习，因此它的缺点是对于复杂问题需要花费太多时间来学习。因此，为了将强化学习投入实际应用，有必要开发新的高速学习方法。在本研究中，我们准备了多个智能体在短时间内进行学习，每个智能体使用正常的强化学习方法进行学习，并通过智能体之间交换信息来参考其他智能体的学习结果进行学习，我们提出了一种群体强化学习方法。执行的。今年，我们提出了一种使用粒子群优化在群体强化学习中的代理之间交换信息的方法，这是一种受鸟类聚集行为启发的优化方法。我们还提出了使用 Sarsa 和 Actor-Critic 作为每个代理执行的单独学习方法的方法。此外，为了验证群体强化学习方法对于更复杂问题的有效性，我们将群体强化学习方法应用到倒立摆控制问题、足球比赛问题和多智能体环境问题上，证实了这一点。好的策略可以在短时间内获得。此外，我们提出了一种使用蚁群优化的群体强化学习方法，这是一种受蚂蚁集群行为启发的优化方法。这种群体强化学习方法采用了一种新的框架，利用其他智能体的学习结果来选择动作。基于上述结果，我们能够开发出一种群体强化学习方法，与传统的单智能体强化学习方法相比，它可以在更短的时间内获得更好的策略。