カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング

结合相机几何和深度学习，使用图像对环境进行语义建模

基本信息

批准号：
20J13300
负责人：
伊東聖矢
金额：
$ 1.22万
依托单位：
Aoyama Gakuin University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

本年度は，昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い，画像と短距離深度情報から長距離深度情報を補完する方法，および，移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した．長距離深度情報を補完する方法として，RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて，深度補完モデルを自己教師あり学習で学習する手法を開発し，長距離深度情報を用いずに長距離深度の補完を可能にした．本技術により，計測可能な距離が限定されている安価なセンサであっても，計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる．移動物体を含む環境でセマンティックモデリングを行う方法として，画像から推定した意味情報をもとに移動物体を特定し，入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した．前年度に作成した3DCGデータセットを使用して開発を進め，物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し，実世界シーンのデータセットを用いて手法の有効性を検証した．また，多視点画像から3次元モデルを効率的に復元するために，3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した．このニューラルネットワークモデルは，計算時間が若干増加する代わりに，計算に必要なGPUメモリを削減しながら，高精度に3次元モデルを復元できることを確認した．さらに，単一画像から物体の3次元モデルを構築する強化学習手法を開発した．本技術により，画像から直接3次元モデルを出力する従来の深層学習手法と異なり，3次元モデルの構築過程を可視化することが可能となった．

今年，继去年之后，我们将开展语义建模研究，利用图像语义信息构建3D环境地图，研究补充图像长距离深度信息和短距离深度信息的方法以及构建包含移动对象的环境的方法我们开发了一种执行语义建模的方法，并在国际会议上提出了该方法。作为补充长距离深度信息的方法，我们开发了一种使用 RGB-D 传感器获取的一对图像和短距离深度图像通过自监督学习来学习深度互补模型的方法，并使用自监督学习模型。监督学习方法来补充长距离深度信息，这使得在不使用长距离深度信息的情况下补充成为可能。利用该技术，即使使用可测量距离有限的廉价传感器，也可以使用测量的深度信息来高精度地估计传感器无法测量的范围的深度。作为在包含移动对象的环境中执行语义建模的方法，我们开发了一种基于从图像估计的语义信息识别移动对象、从输入图像中删除移动对象并仅对静态场景进行建模的方法。我们使用前一年创建的3DCG数据集进行开发，改进了算法，不仅考虑了对象的语义信息，还考虑了实例信息，并使用真实场景的数据集验证了该方法的有效性。。此外，为了有效地从多视图图像中恢复 3D 模型，我们提出了一种神经网络模型，其中 3D 卷积被双向门控循环单元取代。我们证实，这种神经网络模型可以高精度地恢复 3D 模型，同时以稍微增加计算时间为代价减少计算所需的 GPU 内存。此外，我们开发了一种强化学习方法来从单个图像构建对象的 3D 模型。与直接从图像输出 3D 模型的传统深度学习方法不同，该技术使得 3D 模型构建过程可视化成为可能。