統計的学習に基づく強化学習に関する研究

基于统计学习的强化学习研究

基本信息

批准号：
20700208
负责人：
森健
金额：
$ 1.91万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2008
资助国家：
日本
起止时间：
2008 至 2009
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20700208/
关键词：
強化学習統計的学習

项目摘要

多くの強化学習法では、ある状態である行動を取ることの将来的な良さを表す「価値関数」を近似する必要がある。最も広く行われている方法は、価値関数をパラメータと基底関数の内積で表現する線形関数近似を行う方法である。基底関数は設計者の試行錯誤により得られる。自動的に基底関数を構築する方法もあるが、非常に大きな計算コストが掛かる。我々は、価値関数の近似誤差を逐次的に減少させる近似法を提案しており、本年度は主にこの業績化に取り組んだ。この方法は、設計者の事前の試行錯誤を必要とせず、また、計算コストも小さくて済む。基本的なアルゴリズムを国際会議論文として業績化し、それをロバストに改良したアルゴリズムについても国際会議論文として業績化した。アルゴリズムの性質を理論面および実験面においてより深め学術論文誌へ投稿したがまだ採録に至っていない。アルゴリズム全2体の統計的な性質をクリアにすることで、さらなる業績化が可能と考えている。また、これまでに考案してきた統計的学習に基づく種々の強化学習アルゴリズムを、本科研費で購入した実機ロボットへ適用し学習を試みた。具体的には、レゴマインドストームを用いて二輪型ロボットを作製し、そのバランシングを新たな強化学習法を用いて行った。二輪型ロボットのバランシングを自動調整することは、自転車やバイクにおける個々人の運転の快適性を向上させることに貢献し、さらには事故率の低減にも繋がると考えている。

许多强化学习方法需要近似一个“价值函数”，它代表在某种状态下采取某种行动的未来好处。最广泛使用的方法是执行线性函数近似，其中值函数表示为参数和基函数的内积。基函数是设计者通过反复试验获得的。有一种方法可以自动构造基函数，但这需要非常大的计算成本。我们提出了一种逼近方法，逐步降低了值函数的逼近误差，今年我们主要致力于这个成果。该方法不需要设计者事先进行试错，并且计算成本也较低。基础算法作为国际会议论文发表，鲁棒改进算法也作为国际会议论文发表。我从理论上和实验上加深了对该算法性质的理解，并已提交给学术期刊，但尚未被接受。我们相信，通过阐明所有两种算法的统计特性，将有可能取得进一步的成就。我们还尝试通过将我们迄今为止设计的基于统计学习的各种强化学习算法应用于用研究经费购买的实际机器人来进行学习。具体来说，他们使用乐高 Mindstorms 创建了一个两轮机器人，并使用新的强化学习方法对其进行平衡。我们相信，自动调节两轮机器人的平衡将有助于提高个人骑自行车和摩托车的舒适度，也将导致事故率的降低。