電気探査法と生物的適応アルゴリズムによる3次元海中センシングシステムの構築

利用电探测方法和生物适应算法构建3D水下传感系统

基本信息

批准号：
17656285
负责人：
木村元
金额：
$ 2.05万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
2005
资助国家：
日本
起止时间：
2005 至 2007
项目状态：
已结题

项目摘要

これまでの研究実績において製作した水中電気探査装置を利用して、電気探査センサから得られたデータを解釈してより高い精度でセンサ周囲に存在する物体の形状や電気的特性を推定するための解析方法について検討を行い、前年度の研究実績において開発した順解析手法のための3次元有限要素モデルの改良を行った。データ解釈のための逆解析に必要なアルゴリズムについては、生物的適応アルゴリズムについては、高次元の状態入力と行動出力の環境においてより効率良く強化学習を行うため、割引報酬合計の期待値に関して、今までのように1次微分だけでなく2次微分の方向まで考慮に入れた「自然勾配」の方向へ政策を改善していく自然勾配Actor-Critic法に注目し、これと「適正度の履歴」を組み合わせることで、状態観測が不完全なためマルコフ性が保障されない環境下においても頑健に強化学習を行うことが可能な新しいアルゴリズムを提案した。また、前年度の研究実績において提案したランダムタイリングによる特徴量ベクトル生成方法において、ランダムタイルの個数と、任意の2入力によって生成される特徴ベクトルの線形独立性との関係を定量的に示し、空間をグリッド分割した場合との比較を行うことで、提案手法が高次元の入力空間において特徴量の爆発を防ぎつつ極めて高い汎化性能を示す理由についての定量的解析を行った。このランダムタイリングによる状態-行動空間汎化とGibbsサンプリングを用いた行動選択による高次元状態-行動空間における強化学習アルゴリズムは、ロボティクス分野において定評のある国際会議IEEE/RSJ International Conference on Intelligent Robots and Systems(IROSO7採択率49%)において研究発表を行い、新しい生物的適応アルゴリズムとして高く評価された。

使用我们迄今为止在研究中创建的水下电勘探设备，我们的目标是解释从电勘探传感器获得的数据，并以更高的精度估计传感器周围物体的形状和电特性，我们研究了分析方法并改进了。三维有限元模型为前一年研究成果中开发的正演分析方法。关于数据解释的逆分析所需的算法，关于生物适应算法，为了在具有高维状态输入和行为输出的环境中更有效地执行强化学习，我们目前正在考虑总贴现奖励的期望值作为。之前，我们不仅考虑一阶导数，还考虑二阶导数的方向。通过关注自然梯度 Actor-Critic 方法，该方法在“自然梯度”方向上改进策略，并将其与“适当性历史”相结合，我们可以解决由于不完整的状态观察而无法保证马尔可夫属性的环境。提出了一种新算法，即使在以下条件下也可以稳健地执行强化学习。此外，在前一年的研究成果中提出的使用随机分块的特征向量生成方法中，我们通过与所提出的方法进行比较，定量论证了随机分块的数量与任意两个输入生成的特征向量的线性独立性之间的关系。在空间划分为网格的情况下，我们定量分析了所提出的方法在防止高维输入空间中特征爆炸的同时表现出极高泛化性能的原因。这种在高维状态动作空间中使用使用随机平铺的状态动作空间泛化和使用吉布斯采样的动作选择的强化学习算法是在国际会议 IEEE/RSJ 国际智能机器人和系统会议上介绍了我们的研究。在IROSO7（接受率：49%）上，作为一种新的生物适应算法获得了高度评价。