散乱媒体下における三次元形状計測手法

散射介质下三维形状测量方法

基本信息

批准号：
19J10003
负责人：
藤村友貴
金额：
$ 1.09万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J10003/
关键词：
散乱媒体 Multi-view Stereo

项目摘要

昨年度は散乱媒体下での三次元復元を実現するため，散乱媒体下でのまったく新しい多視点の幾何的拘束を表現するDehazing Cost volume を提案し，深層学習の枠組みで散乱媒体下でのMulti-view Stereo を提案した．今年度は，昨年度提案したこのDehazing cost volume を用いた散乱媒体下におけるMulti-view Stereo を発展させる研究を行った．具体的には，Dehazing cost volume を構築する際あらかじめ推定する必要のあった，大気散乱モデルにおける大気散乱光と散乱係数の二つの散乱パラメータについて，Dehazing cost volume と同様の枠組みで推定する手法を提案した．一般にMulti-view stereo 適用時は，その前処理としてカメラパラメータの推定にStructure-from-Motion が用いられるが，その際疎な三次元点群を副次的に得ることができる．この疎な三次元点群に着目し，さらにネットワークの入力となる画像を固定すると出力の深度画像が大気散乱光と散乱係数の二つの変数の関数とみなせることを利用し，疎な三次元点群から得られる疎な深度画像とネットワークの出力の深度画像が一致するように散乱パラメータについて最適化を行う．この手法と従来の散乱パラメータの推定手法の違いは，散乱パラメータの推定に画像の輝度値ではなく幾何的な情報を用いている点であり，これにより数値的に安定かつ出力の深度画像の幾何的な正しさが保証される散乱パラメータを推定することができる．

去年，为了在散射媒体下实现三维恢复，我们提出了一个飞机的成本量，在散射媒体下表达了全新的多视图几何约束，并在深度学习框架内提出了在散射媒体下的多视图立体声。今年，我们使用去年提议的飞行成本量进行了有关在散射媒体下开发多视图立体声的研究。具体而言，我们提出了一种在大气散射模型中估算两个散射参数，大气散射和散射系数的方法，在构造飞行成本量时，在构造飞机成本的相似框架中，必须提前估算，以降低成本量。通常，在应用多视图立体声时，将结构从结构上移动来估算摄像机参数作为预处理，但是在这种情况下，可以作为次要步骤获得稀疏的三维点云。关注这一稀疏的三维点云，我们还利用了一个事实：当网络输入的图像固定时，输出深度图像可以视为两个变量的函数：大气散射光和散射系数，优化散射参数，因此从稀疏的三维点构图中获得的稀疏深度图像获得了稀疏的深度图像，该网络构成了深度构图和深度构图。该方法和常规散射参数估计方法之间的区别在于，几何信息用于估计散射参数而不是图像亮度值，这允许估算散射参数在数值上是稳定的，并保证了输出深度图像的几何学正确性。