カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング

结合相机几何和深度学习,使用图像对环境进行语义建模

基本信息

  • 批准号:
    20J13300
  • 负责人:
  • 金额:
    $ 1.22万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2020
  • 资助国家:
    日本
  • 起止时间:
    2020-04-24 至 2022-03-31
  • 项目状态:
    已结题

项目摘要

本年度は,昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い,画像と短距離深度情報から長距離深度情報を補完する方法,および,移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した.長距離深度情報を補完する方法として,RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて,深度補完モデルを自己教師あり学習で学習する手法を開発し,長距離深度情報を用いずに長距離深度の補完を可能にした.本技術により,計測可能な距離が限定されている安価なセンサであっても,計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる.移動物体を含む環境でセマンティックモデリングを行う方法として,画像から推定した意味情報をもとに移動物体を特定し,入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した.前年度に作成した3DCGデータセットを使用して開発を進め,物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し,実世界シーンのデータセットを用いて手法の有効性を検証した.また,多視点画像から3次元モデルを効率的に復元するために,3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した.このニューラルネットワークモデルは,計算時間が若干増加する代わりに,計算に必要なGPUメモリを削減しながら,高精度に3次元モデルを復元できることを確認した.さらに,単一画像から物体の3次元モデルを構築する強化学習手法を開発した.本技術により,画像から直接3次元モデルを出力する従来の深層学習手法と異なり,3次元モデルの構築過程を可視化することが可能となった.
从去年开始,今年,我们对语义建模进行了研究,以构建图像中的语义信息的3D环境图,并在国际会议上介绍了如何补充图像和短途深度信息中的长距离深度信息,以及如何在包含移动对象的环境中执行语义建模。作为补充长距离深度信息的一种方法,我们开发了一种使用RGB-D传感器和短途深度图像获得的图像来学习深度互补模型的方法,从而实现了长距离深度完成,而无需使用长距离深度深度信息。这项技术允许对传感器无法测量的范围内的深度进行高精度估算,即使对于可以测量有限距离的廉价传感器也是如此。作为在包括移动对象的环境中进行语义建模的一种方法,我们开发了一种基于从图像估算的语义信息,从输入图像中删除移动对象的语义信息,并仅对静态场景进行建模的方法。使用上一年创建的3DCG数据集进行了开发,并改进了该算法,以允许考虑对象的语义信息,还可以考虑实例信息,并使用现实世界场景的数据集对该方法的有效性进行了验证。此外,为了从多视图图像有效地恢复3D模型,我们提出了一个神经网络模型,其中3D卷积被双向门控复发单元替换。该神经网络模型并没有稍微增加计算时间,而是证实可以以高精度恢复3D模型,同时还可以减少计算所需的GPU存储器。此外,我们开发了一种增强学习方法,该方法从单个图像中构建对象的三维模型。这项技术使可以看到与传统深度学习方法不同的构建3D模型的过程,该方法直接从图像中输出了3D模型。

项目成果

期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Towards Detailed 3D Modeling: Mesh Super-Resolution via Deformation
迈向详细 3D 建模:通过变形实现网格超分辨率
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ryo Tamura;Seiya Ito;Naoshi Kaneko;Kazuhiko Sumi
  • 通讯作者:
    Kazuhiko Sumi
自己教師あり学習を用いた多眼ステレオ
使用自我监督学习的多视图立体
  • DOI:
    10.2493/jjspe.86.1042
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Kunii A;Yamamoto T;Sakuma T;伊東聖矢,金子直史,鷲見和彦
  • 通讯作者:
    伊東聖矢,金子直史,鷲見和彦
Seeing Farther Than Supervision: Self-supervised Depth Completion in Challenging Environments
比监督看得更远:挑战环境中的自我监督深度完成
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Seiya Ito;Naoshi Kaneko;Kazuhiko Sumi
  • 通讯作者:
    Kazuhiko Sumi
Learning-based Multi-view StereoのためのBi-directional RNNを用いたコストボリューム正則化
使用双向 RNN 进行基于学习的多视图立体的成本量正则化
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Saito Ami;Sawada Tomohisa;Fujita Makoto;伊東 聖矢,藤富卓,金子直史,鷲見和彦
  • 通讯作者:
    伊東 聖矢,藤富卓,金子直史,鷲見和彦
Bi-directional Recurrent MVSNet for High-resolution Multi-view Stereo
用于高分辨率多视图立体的双向循环 MVSNet
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Taku Fujitomi;Seiya Ito;Naoshi Kaneko;Kazuhiko Sumi
  • 通讯作者:
    Kazuhiko Sumi
共 7 条
  • 1
  • 2
前往

伊東 聖矢的其他基金

環境の階層型セマンティックモデリング
环境的分层语义建模
  • 批准号:
    22K17978
    22K17978
  • 财政年份:
    2022
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
    Grant-in-Aid for Early-Career Scientists

相似国自然基金

基于毫米波的波束管理和SLAM一体化理论与技术研究
  • 批准号:
    62301156
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于移动群智SLAM的高效即时定位与地图构建
  • 批准号:
    62332016
  • 批准年份:
    2023
  • 资助金额:
    229 万元
  • 项目类别:
    重点项目
边缘侧多机协同SLAM关键技术研究
  • 批准号:
    62302254
  • 批准年份:
    2023
  • 资助金额:
    20 万元
  • 项目类别:
    青年科学基金项目
SLAM家族受体负调cDC1细胞活化和抗肿瘤免疫反应的机制研究
  • 批准号:
    32330034
  • 批准年份:
    2023
  • 资助金额:
    221 万元
  • 项目类别:
    重点项目
野外开放环境中无人机异步多目视觉SLAM技术
  • 批准号:
    62303478
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

大規模農業フィールドにおける超精密ほ場管理を目的としたSemantic-SLAMの研究
大规模农田超精准田间管理的语义-SLAM研究
  • 批准号:
    24K07413
    24K07413
  • 财政年份:
    2024
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
    Grant-in-Aid for Scientific Research (C)
土地整理期絵図とSLAM型レーザー測量を利用した琉球村落空間の地理学的研究
利用土地整理周期图和 SLAM 激光测量对琉球村庄空间进行地理研究
  • 批准号:
    24K04442
    24K04442
  • 财政年份:
    2024
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
    Grant-in-Aid for Scientific Research (C)
指向性サーベイメータとSLAMを統合したベータ線源の定量的3次元可視化
通过集成定向测量仪和 SLAM 对 β 辐射源进行定量 3D 可视化
  • 批准号:
    24K08312
    24K08312
  • 财政年份:
    2024
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
    Grant-in-Aid for Scientific Research (C)
LiDARと偏光カメラを用いた透明物体存在環境におけるSLAM
使用 LiDAR 和偏振相机在透明物体环境中进行 SLAM
  • 批准号:
    23K24922
    23K24922
  • 财政年份:
    2024
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
    Grant-in-Aid for Scientific Research (B)
Aire-dependent thymic B-1a cells play a key role in neonatal tolerance induction
Aire 依赖性胸腺 B-1a 细胞在新生儿耐受诱导中发挥关键作用
  • 批准号:
    10660882
    10660882
  • 财政年份:
    2023
  • 资助金额:
    $ 1.22万
    $ 1.22万
  • 项目类别: