ビジュアルフィードバックによる深層モーションプランニングに関する研究

基于视觉反馈的深度运动规划研究

基本信息

批准号：
20J15720
负责人：
荒木諒介
金额：
$ 1.09万
依托单位：
Chubu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

昨年度から進めていた「画像生成ネットワークの逆伝播に基づく繰り返し更新による物体姿勢推定を用いた物体把持」に関する研究について，精度向上とロボットにおける実機実験を行った．本研究では，入力された姿勢パラメタの物体画像を生成するネットワークを構築し，ネットワークの逆伝播に基づく繰り返し処理による物体の6D姿勢推定を実現する．はじめに，中間表現ネットワークを用いて，姿勢推定対象物体の画像をセグメンテーションラベル等の中間表現に置き換える．次に，姿勢デコーダネットワークを用いて，ランダムな姿勢パラメタから中間表現画像をデコードする．この2つの画像の誤差を姿勢デコーダネットワークに逆伝播し，姿勢パラメタの更新量を求める．この処理を粗い解像度の画像で繰り返し，ある程度の精度が得られたら高解像度の画像で繰り返し，正確な姿勢パラメタを推定する．これにより，単眼カメラの画像のみを用いた姿勢推定を実現することができた．また，修士の時点で取り組んでいた「マルチタスクDSSDによる物体検出，物体セグメンテーションおよび物体把持位置検出」に関する研究について，より詳細な実験を行って再検証した．本研究は，深層学習を用いた物体検出アルゴリズムであるDeconvolutional Single Shot Detector (DSSD) をベースとして，物体検出・セマンティックセグメンテーション・物体把持位置検出の3タスクを同時実行する．詳細な検証の結果，マルチタスク学習が性能向上に良い影響を与えていることがわかった．

去年以来，我们一直在进行“通过基于图像生成网络的反向传播的重复更新来估计物体姿态来抓取物体”的研究，我们提高了精度，并使用实际的机器人进行了实验。在本研究中，我们构建了一个基于输入姿态参数生成物体图像的网络，并通过基于网络反向传播的迭代过程实现了物体的6D姿态估计。首先，使用中间表示网络将用于姿态估计的对象图像替换为分割标签等中间表示。接下来，使用姿势解码器网络从随机姿势参数中解码中间表示图像。这两个图像之间的误差被反向传播到姿态解码器网络，并确定姿态参数的更新量。对粗分辨率图像重复该过程，一旦获得一定程度的精度，就对高分辨率图像重复该过程以估计准确的位姿参数。因此，我们能够仅使用单目相机图像来实现姿态估计。此外，我还进行了更详细的实验，重新审视了我在硕士学位期间一直在进行的“使用多任务 DSSD 进行物体检测、物体分割和物体抓握位置检测”的研究。这项研究基于反卷积单镜头检测器（DSSD），这是一种利用深度学习的物体检测算法，同时执行三个任务：物体检测、语义分割和物体抓取位置检测。经过详细验证，我们发现多任务学习对于性能提升有积极的作用。

项目成果

期刊论文数量（5）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

MT-DSSD: multi-task deconvolutional single shot detector for object detection, segmentation, and grasping detection

DOI：
10.1080/01691864.2022.2043183
发表时间：
2022-03
期刊：
Advanced Robotics
影响因子：
2
作者：
Ryosuke Araki;Tsubasa Hirakawa;Takayoshi Yamashita;H. Fujiyoshi
通讯作者：
Ryosuke Araki;Tsubasa Hirakawa;Takayoshi Yamashita;H. Fujiyoshi

MT-DSSD: deconvolutional single shot detector using multi task learning for object detection, segmentation, and grasping detection

DOI：
10.1109/icra40945.2020.9197251
发表时间：
2020-01-01
期刊：
2020 IEEE International Conference on Robotics and Automation (ICRA)
影响因子：
0
作者：
Araki, Ryosuke;Onishi, Takeshi;Fujiyoshi, Hironobu
通讯作者：
Fujiyoshi, Hironobu

画像生成ネットワークの逆伝播に基づく繰り返し処理による物体の6D姿勢推定

基于图像生成网络反向传播的迭代处理对物体进行 6D 姿态估计

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
荒木諒介;大西剛史;平野正徳;真野航輔;平川翼;山下隆義;藤吉弘亘
通讯作者：
藤吉弘亘

Iterative Coarse-to-Fine 6D-Pose Estimation Using Back-propagation

使用反向传播从粗到细迭代 6D 位姿估计

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Ryosuke Araki;Kohsuke Mano;Tadanori Hirano;Tsubasa Hirakawa;Takayoshi Yamashita and Hironobu Fujiyoshi
通讯作者：
Takayoshi Yamashita and Hironobu Fujiyoshi

画像生成ネットワークの逆伝播に基づく繰り返し更新による物体姿勢推定を用いた物体把持

基于图像生成网络反向传播的重复更新，利用物体姿态估计进行物体抓取