ＤｅｅｐＬｅａｒｎｉｎｇを用いた多指ロボットハンドによる道具操り動作の実現

利用 DeepLearning 实现多指机器人手的工具操作

基本信息

批准号：
17J10571
负责人：
船橋賢
金额：
$ 1.79万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-04-26 至 2020-03-31
项目状态：
已结题

项目摘要

昨年度は3軸触覚センサを搭載した2指による物体操りを実現した．ハンド表面はシリコンで覆われているためハンドが把持している物体とは面接触を行うことになるが，Convolutional Neural Network (CNN)を用いることによって，高い成功確率での操りを行った．この結果に対して，さらに未学習の日常物体での操りも行い，最終的に5種類の物体を高い成功確率で操ることに成功した．本年度では，操り動作を学習したCNNが触覚情報の変化という点で実際に指先上で物体の動きを追えているのかどうかを確認するために，Grad-CAM＋＋というニューラルネットワークの重みを可視化する手法を用いることによって，触覚センサの反応している位置とCNNが見ている位置が一致していることを確認することに成功した．これによって，触覚情報を用いた操りにおけるCNNの有用性が示されたと考える．2指での操り結果とそれを解析したものをまとめて，RA-Letterに提出し，査読中である．さらに，4指での操り達成を目指す上で，指先以外での接触も考慮することにした．指先だけでなく，指腹や手の平への触覚センサの搭載も行った．残りの短い日数で実際にニューラルネットワークによる学習を進めた．学振の期間には収まらなかったが，学振研究期間で得られた成果を基に今後も研究を行い，当初の計画にあった4指での操り動作実現を目指す予定である．

去年，我们实现了配备 3 轴触觉传感器的两指物体抓握。由于手的表面覆盖有硅胶，因此手与所抓握的物体进行表面接触，但通过使用卷积神经网络（CNN），我们能够以很高的成功率进行操作。基于这个结果，我们还操纵了未学过的日常物体，最终以很高的成功概率成功操纵了五种物体。今年，我们开发了一种名为 Grad-CAM++ 的方法，该方法将神经网络的权重可视化，以确认学习了操作动作的 CNN 是否能够真正根据触觉信息的变化来跟踪指尖上物体的移动。通过使用这种方法，我们成功地确认了触觉传感器响应的位置与 CNN 看到的位置相匹配。我们相信这证明了 CNN 在使用触觉信息进行操纵方面的有用性。两指操作结果及其分析已汇编并提交给 RA-Letter 进行同行评审。此外，为了实现四指操作，我们决定考虑指尖以外的接触。触觉传感器不仅安装在指尖上，还安装在指腹和手掌上。剩下的几天，我们实际上是利用神经网络进行学习。虽然该项目没有在JSPS研究期间完成，但我们计划在JSPS研究期间获得的成果的基础上继续研究，旨在实现原计划的四指操纵动作。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Versatile In-Hand Manipulation of Objects with Different Sizes and Shapes Using Neural Networks

DOI：
10.1109/humanoids.2018.8624961
发表时间：
2018-01-01
期刊：
2018 IEEE-RAS 18TH INTERNATIONAL CONFERENCE ON HUMANOID ROBOTS (HUMANOIDS)
影响因子：
0
作者：
Funabashi, Satoshi;Schmitz, Alexander;Sugano, Shigeki
通讯作者：
Sugano, Shigeki

Massachusetts Institute of Technology(米国)

麻省理工学院（美国）

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Morphology-Specific Convolutional Neural Networks for Tactile Object Recognition with a Multi-Fingered Hand

DOI：
10.1109/icra.2019.8793901
发表时间：
2019-01-01
期刊：
2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)
影响因子：
0
作者：
Funabashi, Satoshi;Yan, Gang;Sugano, Shigeki
通讯作者：
Sugano, Shigeki

Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors

DOI：
10.1109/iros.2018.8594159
发表时间：
2018-01-01
期刊：
2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)
影响因子：
0
作者：
Funabashi, Satoshi;Morikuni, Shu;Sugano, Shigeki
通讯作者：
Sugano, Shigeki

多指ロボットハンドの動作情報と3 軸分布型触覚センサによる物体認識手法の提案

利用多指机械手运动信息和三轴分布式触觉传感器的物体识别方法的提出

DOI：
发表时间：
2018
期刊：
影响因子：
0
作者：
Satoshi Funabashi;Alexander Schmitz;Shun Ogasa and Shigeki Sugano;Satoshi Funabashi;Satoshi Funabashi;Satoshi Funabashi;小笠駿
通讯作者：
小笠駿