非伝統的モデルに基づく画像列からの物体形状・照明解析

基于非传统模型的图像序列中的物体形状和照明分析

• 批准号: 20K11866
• 负责人: 右田 剛史
• 金额: $ 2.25万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11866/
• 关键词: パラメータ推定; レイトレーシング; GPU; 画像列; 逆問題; 未校正照度差ステレオ法; ３次元形状復元; 非線形最適化; 物体形状復元; 画像生成モデル

本研究課題では画像からのパラメータ推定の高度化を目指している．この手法は画像生成の逆問題として定式化され，推定パラメータに基づく生成画像と入力画像の差を最小化するようにパラメータを反復的に最適化するものであり，順計算である画像生成を繰り返し行う必要がある．近年，画像生成専用ハードウェア（GPU）による高速なレイトレーシングが可能となっており，従来型グラフィクス（三角形に基づく描画）に比べ複雑な反射や影のある画像を扱うことができる．一方，複雑な画像の解析ではパラメータ推定の難易度も上がるため，新たな効率的な計算法の開発を要する．本年度は，前年度までの超楕円体（楕円体を含む）を利用した推定手法を拡張し，レイトレーシングによる画像生成からのパラメータ推定を実現した．(i) 物体表面のテクスチャを，物体形状と配置・光源位置等のパラメータと同時に推定する．レイトレーシングは，画像中の複雑な反射を計算する手法であり，ヤコビ行列（出力画像とテクスチャの関係）は複雑になる．この計算を効率的に行うためのデータ表現法と計算法を新たに考案し，それに基づくパラメータ推定法を実現した．(ii) 前年度にも検討した交互推定を用いる．一方，Schur補行列等の複雑な方法の利用は難しい． (iii) これらの計算は GPU 上で実行され，CPU を介することによるオーバーヘッドは低減されているが，数値微分のための数十枚の画像生成等は効率化の余地がある．(iv) レイトレーシングの利用は透視投影モデルとほぼ不可分であり，従来利用していた並行投影モデルから切り替えた．(v) レイトレーシングでは反射・影・屈折を扱うことが多いが，現時点では屈折には対応していない．(vi) 現時点で扱える3次元シーンの自由度が低いため，より一般的なシーンを容易に扱えるように一般化を要する．

该研究项目旨在提高图像参数估计的复杂性。该方法被表述为图像生成的逆问题，并且迭代地优化参数以最小化基于估计参数的生成图像与输入图像之间的差异，并且重复图像生成，这是正向计算。这样做是必要的。近年来，使用专用图像生成硬件（GPU）执行高速光线追踪已经成为可能，它可以处理比传统图形（基于三角形绘制）更复杂的反射和阴影的图像。另一方面，分析复杂图像时参数估计的难度增加，因此有必要开发新的高效计算方法。今年，我们使用超椭球体（包括椭球体）扩展了前几年使用的估计方法，并使用光线追踪实现了图像生成的参数估计。 （i）与物体形状和参数（例如放置和光源位置）同时估计物体表面的纹理。光线追踪是一种计算图像中复杂反射的方法，雅可比矩阵（输出图像和纹理之间的关系）变得复杂。我们设计了一种新的数据表示方法和计算方法来有效地执行此计算，并基于该方法实现了参数估计方法。 (ii) 使用交替估计，上一年也考虑过这一点。另一方面，很难使用诸如Schur补集之类的复杂方法。 (iii)这些计算在GPU上执行，减少了经过CPU的开销，但在生成数十张图像进行数值微分时仍有效率提升的空间。 (iv) 光线追踪的使用几乎离不开透视投影模型，因此我们从之前使用的平行投影模型切换过来。 (v) 光线追踪通常处理反射、阴影和折射，但目前不支持折射。 (vi)由于目前可以处理的3D场景的自由度较低，因此有必要对其进行泛化，以便可以轻松处理更通用的场景。

项目成果

Uncalibrated Photometric Stereo using Superquadrics with Texture Estimation

使用带有纹理估计的超二次曲面的未校准光度立体

• 发表时间: 2022
• 作者: Tsuyoshi Migita;Ayane Okada and Norikazu Takahashi
• 通讯作者: Ayane Okada and Norikazu Takahashi

Uncalibrated Photometric Stereo using Superquadrics with Cast Shadow

使用具有投射阴影的超二次曲面的未校准光度立体

• 发表时间: 2021
• 作者: T. Nasu;T. Migita and N. Takahashi
• 通讯作者: T. Migita and N. Takahashi