Physics-based vision under uncontrolled illumination environmnent based on contrastive feature disentanglement

基于对比特征解耦的非受控照明环境下基于物理的视觉

基本信息

批准号：
22K17919
负责人：
池畑諭
金额：
$ 2.75万
依托单位：
National Institute of Informatics
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

異なる陰影画像から被写体の表面法線を復元するフォトメトリックステレオ法は、暗室下での厳密な照明環境の制御や事前の光源校正が必要で実応用への障害が非常に高かった。この課題を解決するために、世界初の光源についての知識を必要としないフォトメトリックステレオ法を実現し、これをユニバーサルフォトメトリックステレオ法と名付けた。従来手法では事前に定義された物理照明モデルに則って被写体の表面法線の復元が行われていたが提案手法では、物理モデルの代わりに非物理照明モデルである大域照明コンテクスト (Global Lighting Context)を提案し、これにより表面上の各点において非一様な照明条件の設定を可能にした。また、従来のフォトメトリックステレオは深層学習を用いることによって精度の向上がなされたと同時に、扱える入力画像の解像度の限界が存在した。しかし提案手法では、規定解像度（Canonical Resolution）を定義し、重要で重い処理を入力解像度よりも小さなその解像度でのみ行う事によって計測のスケーラビリティを実現した。ユニバーサルフォトメトリックステレオは世界で初めて非一様な照明環境下でのフォトメトリックステレオを実現し、フォトメトリックステレオの社会応用へ大きな一歩を与える革新的成果である。また、本研究の成果で特筆すべき点として、ニューラルネットワークの学習に一切実データを利用しなかったという点が挙げられる。これは、合成画像と自然画像の間のドメインギャップのため一般的には好まれない方法であるが、フォトメトリックステレオという特殊な問題設定においては極めて有効であることが示された。

从不同的阴影图像中恢复对象的表面的Photometryx Tereo方法需要严格的照明环境控制和黑暗房间中的先前光源校准，并且在采用中的损害很大。为了解决这个问题，未经需要了解世界上第一个光源的Photometryx Tereo方法已被实现，这被称为通用照片Metrix Tereo方法。根据常规方法，根据预先定义的物理照明模型恢复了对象的表面，但是在建议方法中，不是物理模型，而不是物理模型，提出了非物理照明模型（全球照明环境），这使表面的每个点都实现了均匀的照明条件。此外，常规的光度法TEREO通过使用深度学习提高了精度，同时又限制了输入图像的分辨率。但是，在提出的方法中，测量可伸缩性是通过定义规定的分辨率（规范分辨率）来定义的，并且重要且重要的处理仅在其分辨率下进行，该分辨率小于输入分辨率。通用照片指标TEREO是世界上第一个创新成就，它在统一的照明环境中实现了光度法，并为Photommetryx Tereo的社会应用迈出了重要一步。这项研究结果的另一个值得注意的观点是，他们没有使用任何实际数据来学习神经网络。由于合成图像和自然图像之间存在域间隙，因此这通常不是首选的方法，但是在设定Photometryx tereo的特殊问题方面非常有效。