強化学習エージェントのための生態学的ニッチ固有の制約構造を活用した状態分割法

利用生态位特定约束结构的强化学习代理的状态划分方法

• 批准号: 15700159
• 负责人: 半田 久志
• 金额: $ 1.6万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700159/
• 关键词: 強化学習; 状態分割法; Reinforcement Learning; Anticipatory Behavior; Autonomous Robots; State Space Construction; Growing Neural Gas Neural Networks

近年,ニューラルネットや強化学習,進化計算のような学習機構を取り入れた自律移動ロボットに関する研究が盛んである.しかしながら,現状では,たとえ高性能な学習機構を取り入れていても,地面のすべりや背景といった環境特有の情報,エージェントのアクチュエータやセンサの特性といった生態学的ニッチ固有の制約構造を巧く活用しないとロボットは全く機能しない.本研究では,自律的に知覚・行動を行う強化学習エージェントに対して与えられた生態学的ニッチ固有の制約構造を活用するための状態分割法を提案しその有用性を示した.提案手法では,知覚-行動-知覚という系列について,状態分割の整合性を検査し,矛盾が検出されるたびにさらなる分割を生じることによりその矛盾解消を試みる.すなわち,ある時刻における知覚入力に対して状態を割り当てるような状態分割器を考える.そして,行動を行った結果として生じる知覚入力を状態分割器に与え,状態を得る.系列をエージェントが行動するたびに蓄えていき,矛盾検出とその解消を行う.提案手法では、階層的な情報処理による状態分割を行うメカニズムを有し、階層は情報の縮約を、上位層は階層で縮約を行ったニューロンが発火した際に、次時刻ではどのような知覚変化を引き起こすかを予測している。この予測の精度にもとづいて状態分割を構成している。本年度は、この研究課題で新たに提案を行った上記の状態分割法について、車の山登り問題へ適用した研究について2004年7月にブダペストで行われたIJCNN04にて成果発表を行った。また状態だけではなく行動の分節化を行うようなアルゴリズムの拡張について検討した。

近年来，对自主移动机器人进行的研究，包括神经网等学习机制，增强的学习和进化计算，除非生态利基特异性结构，例如环境，代理的特征和传感器将根本不起作用。行动感是在国家划分中保持一致的，并试图通过每次检测到矛盾来消除矛盾对状态分裂的感知输入，每次代理人行动时都会存储状态，并且矛盾检测及其分辨率。下次点燃了层次结构的神经元时，会导致感知的改变。根据该预测的准确性配置了状态拆分。今年，我们宣布了上述状态分区方法的结果，该方法在本研究问题上是在2004年7月在布达佩斯进行的IJCNN04上新提出的，涉及应用于登山问题的研究。此外，我们不仅检查了执行行为化的算法的状态，而且还研究了扩展。

项目成果

Hisashi HANDA: "State Space Construction of Reinforcement Learning Agents Based upon Anticipated Sensory Changes"International Joint Conference on Neural Networks. (採録決定). (2004)

Hisashi HANDA：“基于预期感官变化的强化学习代理的状态空间构建”神经网络国际联合会议（已接受）。