強化学習エージェントのための生態学的ニッチ固有の制約構造を活用した状態分割法

利用生态位特定约束结构的强化学习代理的状态划分方法

• 批准号: 15700159
• 负责人: 半田 久志
• 金额: $ 1.6万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700159/
• 关键词: 強化学習; 状態分割法; Reinforcement Learning; Anticipatory Behavior; Autonomous Robots; State Space Construction; Growing Neural Gas Neural Networks

近年,ニューラルネットや強化学習,進化計算のような学習機構を取り入れた自律移動ロボットに関する研究が盛んである.しかしながら,現状では,たとえ高性能な学習機構を取り入れていても,地面のすべりや背景といった環境特有の情報,エージェントのアクチュエータやセンサの特性といった生態学的ニッチ固有の制約構造を巧く活用しないとロボットは全く機能しない.本研究では,自律的に知覚・行動を行う強化学習エージェントに対して与えられた生態学的ニッチ固有の制約構造を活用するための状態分割法を提案しその有用性を示した.提案手法では,知覚-行動-知覚という系列について,状態分割の整合性を検査し,矛盾が検出されるたびにさらなる分割を生じることによりその矛盾解消を試みる.すなわち,ある時刻における知覚入力に対して状態を割り当てるような状態分割器を考える.そして,行動を行った結果として生じる知覚入力を状態分割器に与え,状態を得る.系列をエージェントが行動するたびに蓄えていき,矛盾検出とその解消を行う.提案手法では、階層的な情報処理による状態分割を行うメカニズムを有し、階層は情報の縮約を、上位層は階層で縮約を行ったニューロンが発火した際に、次時刻ではどのような知覚変化を引き起こすかを予測している。この予測の精度にもとづいて状態分割を構成している。本年度は、この研究課題で新たに提案を行った上記の状態分割法について、車の山登り問題へ適用した研究について2004年7月にブダペストで行われたIJCNN04にて成果発表を行った。また状態だけではなく行動の分節化を行うようなアルゴリズムの拡張について検討した。

近年来，研究一直在自动移动机器人上越来越受欢迎，这些移动机器人结合了学习机制，例如神经网络，增强学习和进化计算。但是，目前，即使采用了高性能学习机制，机器人也根本无法发挥作用，而无需熟练利用环境特定的信息，例如接地滑移和背景以及代理执行器和传感器的特性。在这项研究中，我们提出了一种国家划分方法，以利用对执行自主感知和行为的强化学习者的生态细分特异性约束结构，并证明了其有用性。所提出的方法是一系列感知性能感知的序列。 ，我们试图通过检查国家划分的一致性并在检测到冲突时建立进一步的划分来解决矛盾。换句话说，我们认为在特定时间将状态分配给感知输入的状态分隔线。然后，我们向状态分隔线提供了由动作产生的感知输入，并获得了状态。每次代理行动时，我们都会存储序列，并执行矛盾的检测和分辨率。在提出的方法中，我们使用层次信息处理有一种国家分裂的机制，其中层次结构预测信息的凝结，并且较高的层预测下一次在层中减少神经元的神经元火灾的神经元发生的情况下会发生什么样的感知变化。国家划分是根据该预测的准确性构建的。今年，我们在2004年7月在布达佩斯举行的IJCNN04上提出了上述国家分区方法的结果，该研究对汽车的登山问题应用于2004年7月。我们还研究了不仅陈述而且行动的算法的扩展。

项目成果

Hisashi HANDA: "State Space Construction of Reinforcement Learning Agents Based upon Anticipated Sensory Changes"International Joint Conference on Neural Networks. (採録決定). (2004)

Hisashi HANDA：“基于预期感官变化的强化学习代理的状态空间构建”神经网络国际联合会议（已接受）。