圧縮型ロバスト動的モード分解に基づく動画像成分分離とその応用

基于压缩鲁棒动态模式分解的视频分量分离及其应用

基本信息

批准号：
21K17767
负责人：
松岡諒
金额：
$ 3万
依托单位：
The University of Kitakyushu
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17767/
关键词：
動的モード分解スパースコーディング動画像復元凸最適化

项目摘要

背景の動きや不要な映り込みに頑健な動画像成分分離技術の開発を目的とし、圧縮センシングやスパースモデリング技術を動的モード分解（DMD）法に高度に融合した超高効率な前景背景分離アルゴリズムの確立とその応用の検討を行った。令和４年度は、緩やかな動きのある背景や複数の動的成分を有するシーンの前景背景分離問題を動的モード分解をベースに定式化し、暗所での撮影などで問題となるセンサノイズによる劣化を復元するために、動的モードの分解を介した前景背景分離においてノイズも同時に分離するアルゴリズムの構築を行った。具体的には、全変動正則化やBM3Dなどの既存のノイズ除去デノイザを用いた最適化問題を提案した。提案手法により、ノイズにより劣化した動画像からノイズを含まない動的モード成分を高精度に推定することができ、それらを用いてノイズのない背景成分と前景成分を再構成することができる。また、推定したDMDモードで再構成される動画像データが複素数を含まないようにするための制約を新たに加えて、より安定した動画像復元を実現する手法を提案した。人工的にノイズを付加した動画像や実際に高感度撮影により取得したノイジーな動画像に提案手法を適用し、関連する既存手法と比較することで、提案手法の有効性を示した。さらに、ハイパースペクトル画像の異常検知やJPEGアーティファクトの除去、雨天のシーンで問題となる雨の軌跡の映り込みや、ガラス越しの撮影で問題となるガラス面の映り込みの除去などへの応用に取り組んだ。

我们建立了一种超高效的前景-背景分离算法，将压缩感知和稀疏建模技术与动态模式分解（DMD）相结合，旨在开发一种对背景运动和不必要的反射具有鲁棒性的视频分量分离技术。并检验了其应用。在2020财年，我们基于动态模式分解制定了针对背景缓慢移动或多个动态成分的场景的前景-背景分离问题，并解决了在黑暗地方拍摄时出现的传感器噪声问题，以还原真实的场景。为了解决退化问题，我们构建了一种算法，通过动态模式分解在前景和背景分离过程中同时分离噪声。具体来说，我们使用现有的噪声去除降噪器（例如全变分正则化和 BM3D）提出了一个优化问题。该方法允许从因噪声而劣化的运动图像中高精度估计无噪声动态模式分量，并使用它们来重建无噪声背景和前景分量。我们还提出了一种通过添加新的约束来实现更稳定的视频恢复的方法，以确保使用估计的DMD模式重建的视频数据不包含复数。我们通过将其应用于添加人工噪声的视频图像和通过高感光度摄影实际获得的噪声视频图像，并与相关现有方法进行比较，证明了该方法的有效性。此外，我们正在研究诸如检测高光谱图像中的异常、消除 JPEG 伪影、消除雨迹反射（这在雨天场景中可能会出现问题）以及玻璃表面的反射（这在透过玻璃拍摄时可能会出现问题）等应用。。是。

项目成果

期刊论文数量（11）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

PnP-ADMMに基づく動的モード分解のためのノイズ除去に関する考察

基于PnP-ADMM的动态模式分解噪声去除的思考

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
穴見駿樹;松岡諒
通讯作者：
松岡諒

多重露光偏光画像を用いたガラス面の映り込み除去

使用多次曝光偏振图像去除玻璃表面的反射

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
會津巧真;松岡諒
通讯作者：
松岡諒

Weighted median based multiple exposure blending for rain streak removal

基于加权中值的多重曝光混合用于去除雨纹

DOI：
10.1109/gcce56475.2022.10014341
发表时间：
2022
期刊：
Proceedings of 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
影响因子：
0
作者：
Mishima Mio;Matsuoka Ryo
通讯作者：
Matsuoka Ryo

Reflection Removal Using Multiple Polarized Images with Different Exposure Times

DOI：
10.23919/eusipco55093.2022.9909712
发表时间：
2022-08
期刊：
2022 30th European Signal Processing Conference (EUSIPCO)
影响因子：
0
作者：
T. Aizu;Ryo Matsuoka
通讯作者：
T. Aizu;Ryo Matsuoka

A Study on JPEG Artifact Removal by Four-Directional Difference-based ?<sub>0,1</sub> norm Regularization

基于四向差分?<sub>0,1</sub>范数正则化的JPEG伪影去除研究

DOI：
10.1109/gcce56475.2022.10014200
发表时间：
2022
期刊：
Proceedings of 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
影响因子：
0
作者：
Kobayashi Iori;Matsuoka Ryo
通讯作者：
Matsuoka Ryo