Compressive Light Field Acquisition via High Speed Optical System

通过高速光学系统进行压缩光场采集

基本信息

批准号：
22H03611
负责人：
高橋桂太
金额：
$ 10.98万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03611/
关键词：
光線空間圧縮撮像符号化深層学習

项目摘要

まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベントとしてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。

首先，我们将通过共编码孔径和成像表面来解释动态射线空间的压缩成像。在此方法中，通过在相机中的单个曝光时间内，多次切换张开口的掩码图案和像素表面的掩模图案，以编码格式记录动态射线空间信息。通过在计算机上处理观察结果，可以恢复原始的动态射线空间。在2022年，我们致力于改善恢复算法，以提高重建的射线空间的质量。具体而言，为了在时间序列中获得一致的恢复结果，使用三张连续照片的连续照片构建了一种新的算法，并且通过在实际机器上的模拟和实验来确认其有效性。接下来，将描述一种结合孔径和事件摄像机编码的方法。由于没有关于此方法的研究示例，因此在2022年进行了基本原理。在事件相机中，时间轴方向的亮度变化可以在每个像素的高时间分辨率下记录。通过以高速控制光圈表面的编码模式，可以通过时间轴上的亮度变化代替光线空间的视点轴方向，并且可以将其视为事件。在计算机上模拟了这个想法以确认其有效性，并且在实际机器上也进行了基本实验。最后，我们将讨论适合射线空间的表达格式的研究。射线空间的表示形式与射线空间的结构直接相关，对这种结构的理解对于实现压缩成像至关重要。此外，尽管实际上，射线空间被视为离散的多视图图像，但它们最初是连续空间中的信号。作为适用于射线空间的表达格式，我们已经验证了近年来提出的三维表达格式（例如多台式图像和神经辐射场）的有效性，并探索了将这些表达格式与感应相结合的可能性。