Generic Object Recognition System using Deep Learning with Depth Images for Service Robots

使用深度学习和深度图像的服务机器人通用对象识别系统

基本信息

批准号：
19J11593
负责人：
吉元裕真
金额：
$ 1.34万
依托单位：
Kyushu Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

项目摘要

ホームサービスロボット向け物体認識システムの高性能化を目的とし(a)高精度化のためのDual Stream Convolutional Neural Network (DS-CNN) の実現，(b)高速化・低消費電力化のためのDS-CNNのハードウェア実装の2つを提案した．計画では物体認識CNNである You Only Look Once (YOLO) を対象に [1]提案ネットワークであるMDS-YOLOの実現，[2]MDS-YOLOのハードウェア実装，[3]ハードウェア実装MDS-YOLOのロボットへの搭載を行うとした．学振として採用後，中原らによってYOLOのFPGA実装が実現されていると分かった．そこで本研究では最重要な項目(a)(b)に注力した．このために，多くの研究でベースラインとされるVGG-16を対象に計画を遂行し，併せてデータセット生成手法を提案した．項目[1]ではDS構造でハードウェア指向な「Binarized DS-VGG16 Tiny (BDS-VGG16 Tiny)」を提案し，Binarized VGG-16に比べ4.7%精度を改善した．項目[2]ではBDS-VGG16 Tinyをハードウェア実装し，CPU実装に比べて約4.7倍の高速化と約20倍の電力効率化を実現した．項目[3]ではBDS-VGG16 Tinyとロボット用ミドルウェアを接続し，リアルタイム物体認識システムを構築した．以上の成果はJournal of Robotics and Mechatronicsで採択された．これらの成果と中原らの提案手法を組み合わせることでMDS-YOLOが実現できる．次に計画にはなかったデータセット手法を提案した．RGB画像データセットの半自動生成手法を提案し，YOLOに有効だと確認した．またDS-CNN用に拡張可能である．

目的是通过（a）实现双流卷积神经网络（DS-CNN）以获得更高的精度，（b）实现DS以实现更高的速度和更低的功耗，从而提高家庭服务机器人的物体识别系统的性能 - 我们提出。 CNN 的两种硬件实现。该计划的目标是 You Only Look Once (YOLO)，一种对象识别 CNN，[1] 所提出的网络 MDS-YOLO 的实现，[2] MDS-YOLO 的硬件实现，以及 [3] MDS-YOLO 的硬件实现。公司计划将其安装在机器人上。被JSPS采用后，发现Nakahara等人已经实现了YOLO的FPGA实现。因此，本研究重点关注最重要的（a）和（b）项。为此，我们使用被许多研究视为基线的VGG-16进行了计划，并提出了数据集生成方法。在项目[1]中，我们提出了“二值化DS-VGG16 Tiny（BDS-VGG16 Tiny）”，它具有DS结构并且面向硬件，与二值化VGG-16相比，精度提高了4.7%。在项目[2]中，我们在硬件中实现了BDS-VGG16 Tiny，与CPU实现相比，速度提高了约4.7倍，能效提高了约20倍。在项目[3]中，我们连接BDS-VGG16 Tiny和机器人中间件来构建实时物体识别系统。上述成果被Journal of Robotics and Mechatronics接收。将这些结果与Nakahara等人提出的方法相结合即可实现MDS-YOLO。接下来，我们提出了计划中没有的数据集方法。我们提出了一种 RGB 图像数据集的半自动生成方法，并证实它对 YOLO 是有效的。它也可扩展为 DS-CNN。