カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング

结合相机几何和深度学习，使用图像对环境进行语义建模

基本信息

批准号：
20J13300
负责人：
伊東聖矢
金额：
$ 1.22万
依托单位：
Aoyama Gakuin University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

本年度は，昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い，画像と短距離深度情報から長距離深度情報を補完する方法，および，移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した．長距離深度情報を補完する方法として，RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて，深度補完モデルを自己教師あり学習で学習する手法を開発し，長距離深度情報を用いずに長距離深度の補完を可能にした．本技術により，計測可能な距離が限定されている安価なセンサであっても，計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる．移動物体を含む環境でセマンティックモデリングを行う方法として，画像から推定した意味情報をもとに移動物体を特定し，入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した．前年度に作成した3DCGデータセットを使用して開発を進め，物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し，実世界シーンのデータセットを用いて手法の有効性を検証した．また，多視点画像から3次元モデルを効率的に復元するために，3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した．このニューラルネットワークモデルは，計算時間が若干増加する代わりに，計算に必要なGPUメモリを削減しながら，高精度に3次元モデルを復元できることを確認した．さらに，単一画像から物体の3次元モデルを構築する強化学習手法を開発した．本技術により，画像から直接3次元モデルを出力する従来の深層学習手法と異なり，3次元モデルの構築過程を可視化することが可能となった．

从去年开始，今年，我们对语义建模进行了研究，以构建图像中的语义信息的3D环境图，并在国际会议上介绍了如何补充图像和短途深度信息中的长距离深度信息，以及如何在包含移动对象的环境中执行语义建模。作为补充长距离深度信息的一种方法，我们开发了一种使用RGB-D传感器和短途深度图像获得的图像来学习深度互补模型的方法，从而实现了长距离深度完成，而无需使用长距离深度深度信息。这项技术允许对传感器无法测量的范围内的深度进行高精度估算，即使对于可以测量有限距离的廉价传感器也是如此。作为在包括移动对象的环境中进行语义建模的一种方法，我们开发了一种基于从图像估算的语义信息，从输入图像中删除移动对象的语义信息，并仅对静态场景进行建模的方法。使用上一年创建的3DCG数据集进行了开发，并改进了该算法，以允许考虑对象的语义信息，还可以考虑实例信息，并使用现实世界场景的数据集对该方法的有效性进行了验证。此外，为了从多视图图像有效地恢复3D模型，我们提出了一个神经网络模型，其中3D卷积被双向门控复发单元替换。该神经网络模型并没有稍微增加计算时间，而是证实可以以高精度恢复3D模型，同时还可以减少计算所需的GPU存储器。此外，我们开发了一种增强学习方法，该方法从单个图像中构建了对象的三维模型。这项技术使可以看到与传统深度学习方法不同的构建3D模型的过程，该方法直接从图像中输出了3D模型。