共進化的環境創造による自律移動ロボットのメタレベル行動学習

通过共同进化环境创建自主移动机器人的元级行为学习

基本信息

批准号：
14750362
负责人：
近藤敏之
金额：
$ 2.11万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2002
资助国家：
日本
起止时间：
2002 至 2003
项目状态：
已结题

项目摘要

本研究では,高次元・連続な状態入出力を有する制御対象として自律移動ロボットをとりあげ,その感覚・行動間写像の同定に強化学習法を適用する際に問題となる,計算資源の割当て問題を解決するための一手法として,NGnetで実装したActor-Critic強化学習に学習器の構造パラメータを同時に探索する進化的recruitment戦略を導入する手法を提案した.昨年度までに検証した提案アルゴリズムの有効性と実ロボットによる実証実験は,計測自動制御学会論文集ならびにJournal of Robotics and Autonomous Systemsに掲載された.また,本年度は学習器の構造最適化に加えて,「いかにして複雑な学習課題を効率よく学習するか?」という,学習のスケジューリングに関する研究にも同時並行して取り組んだ.発達心理学におけるpiagetの先駆的研究を参考に,人間の身体と神経系の共進化的発達と,近年,盛んに研究が行われ始めている認知発達ロボティクスの関連に着目した.すなわち,多自由度な感覚運動連関を有する移動ロボットの制御器を強化学習で学習する際に,過去の学習事例から「学習のコツ」となる拘束条件を抽出して記憶しておき,これを未学習課題の習得に拘束条件として用いることで,無駄な試行錯誤数を削減し,その結果として強化学習を高速化することができる,「拘束条件抽出型強化学習法」を提案した.

在这项研究中，我们提出了一种介绍一种进化招聘策略的方法，该方法同时搜索了在NGNET上实施的参与者批判性的增强学习中学习者的结构参数，作为解决计算资源分配问题的一种方法，这是应用强化学习方法来识别感官和行为映射的问题。直到去年验证的拟议算法的有效性以及使用实际机器人进行的示范实验是收集了测量和自治学会的论文，以及《机器人和自治》杂志。今年，除了学习者的结构优化外，我们还研究了学习安排学习的“如何有效地学习复杂的学习任务？”。基于伯爵（Piaget）在发育心理学方面的开创性研究，我们重点介绍了人体的共同发展与神经系统和认知发展机器人技术之间的关系，近年来已经对此进行了积极研究。换句话说，当使用强化学习的多度感觉运动连接的移动机器人学习控制器时，我们提取并记住了从过去的学习案例中“学习的秘诀”的约束条件，并将其用作约束条件，以获取未经学习的任务，从而减少了不必要的试验数量，并减少了不必要的试验和加速增强学习，从而加速了学习。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

近藤敏之, 伊藤宏司: "環境共創による適応的行動学習 -実移動ロボットによる押し動作獲得"計測自動制御学会システム・情報部門学術講演会2002講演論文集(優秀論文賞受賞). 423-428 (2002)

Toshiyuki Kondo、Hiroshi Ito：“通过环境共创进行自适应行为学习 - 通过真实移动机器人获取推力运动”仪器与控制工程师学会系统与信息分会学术会议 2002 年论文集（最佳论文奖获得者） 423-428（2002）

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

近藤敏之, 伊藤宏司: "共進化環境創造による実移動ロボットのPeg押し動作学習"日本ロボット学会創立20周年記念学術講演会. (CD-ROM). 3H32 (2002)

Toshiyuki Kondo、Hiroshi Ito：“通过创建共同进化环境来学习真实移动机器人的推动运动”日本机器人学会 20 周年学术讲座（CD-ROM）。

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Toshiyuki Kondo, Koji Ito: "A Study on Designing Robot Controllers by Using Reinforcement Learning with Evolutionary State Recruitment Strategy"Proceedings of the First International Workshop on Biologically Inspired Approaches to Advanced Information Tec

Toshiyuki Kondo、Koji Ito：“利用强化学习和进化状态招募策略设计机器人控制器的研究”第一届高级信息技术仿生方法国际研讨会论文集

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Toshiyuki Kondo, Koji Ito: "A Study on Designing Controller for Peg-pushing Robot by Using Reinforcement Learning with Adaptive State Recruitment Strategy"Proceedings of SICE Annual Conference 2003. (CD-ROM). MPI-17-2 (2003)

Toshiyuki Kondo、Koji Ito：“A Study on Designing Controller for Peg-pushing Robot by Use Reinforcement Learning with Adaptive State Recruitment Strategy”SICE 2003年年会论文集。（CD-ROM）。