Compressive Light Field Acquisition via High Speed Optical System

通过高速光学系统进行压缩光场采集

基本信息

批准号：
22H03611
负责人：
高橋桂太
金额：
$ 10.98万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03611/
关键词：
光線空間圧縮撮像符号化深層学習

项目摘要

まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベントとしてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。

首先，我们将讨论通过孔径平面和成像平面的同时编码的动态光空间的压缩成像。该方法在相机的单个曝光时间内多次同步和切换光圈平面上的掩模图案和像素平面上的掩模图案，从而以编码形式捕获动态光空间中的信息。通过在计算机上处理观测结果，恢复原始的动态光线空间。 2022财年，我们致力于改进恢复算法，以提高重建光线空间的质量。具体来说，为了随着时间的推移获得一致的恢复结果，我们构建了一种使用三个时间连续图像的新算法，并通过在实际设备上的模拟和实验验证了其有效性。接下来，我们将讨论一种结合孔径平面编码和事件相机的方法。由于之前没有对此方法的研究，因此我们在 2022 财年进行了基本原理研究。事件相机可以以高时间分辨率记录每个像素在时间轴方向上的亮度变化。通过高速控制孔径面的编码图案，可以将光线空间中视轴方向的变化替换为时间轴上亮度的变化，并且可以将其作为事件来感知。除了通过计算机模拟来确认这个想法的有效性之外，我们还在真机上开始了基础实验。最后，我们将讨论适合光线空间的表示格式。光线空间的表示格式与光线空间的结构直接相关，理解这种结构对于实现压缩成像至关重要。此外，虽然在实践中将光线空间视为离散化的多视点视频，但它本来是连续空间中的信号。我们将验证近年来陆续提出的多平面图像、神经辐射场等3D表达格式作为适合光线空间的表达格式的有效性，并探索这些表达格式与传感相结合的可能性。做过。