A development of raw image coding with generalized spectral-spatial transforms

广义谱空间变换原始图像编码的发展

• 批准号: 22K04084
• 负责人: 鈴木 大三
• 金额: $ 2.58万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04084/
• 关键词: RAW画像; 圧縮符号化; スペクトル空間変換; 生成的画像インペインティング; RAWデータ; カラーフィルタアレイ; 非相関化; 画像符号化

本研究の目的は多様なニーズの溢れる現代において益々注目されるRAW画像を，より効率良く圧縮符号化する新たな技術の創出と確立である．前半期では，RAW画像をより非相関化する一般化スペクトル空間変換（SST：Spectral-Spatial Transform）を創出することを計画している．3年計画の内の初年度であった2022年度では，低演算低レイテンシな標準規格であるJPEG XSのために開発されたSSTであるStar-Tetrix変換（STT：Star-Tetrix Trasnform）を元に，より柔軟な変換を行える拡張STT（XSTT：eXtended STT）を提案した．XSTTは2020年に発表したウェーブレットSST（WSST：Wavelet-based SST）における第4のWSSTと捉えることが可能であり，結果として従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，より効果的な変換を実現するための改善方法として，画像のエッジ方向を加味するWSST（WWSST：Weighted WSST）を新たに提案した．これらの成果は，当該分野トップジャーナルであるIEEE Transactions on Image Processingや当該分野トップカンファレンスであるIEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022にも採択され，高く評価された．そしてこれらの成果については国内研究会第37回信号処理シンポジウムでも発表し，多くの研究者と議論し，次の研究への糸口を掴むこととなった．一方で，RAW画像をフルカラー画像として利用するためにはデモザイキングという画素の補完処理が必要となる．この処理はSSTにおける予測ステップに密接な関係があるため,その技術の進展が必要と考え，深層学習に基づく生成的画像インペインティングの研究も同時に進めている．この一つの成果についても，国内研究会第37回信号処理シンポジウムで発表した．

这项研究的目的是创建和建立新技术，以有效地压缩和编码原始图像，这些图像在现代越来越吸引人们的注意力，在这些新技术中，各种需求随着新技术的创造而溢出。在上半年，我们计划创建一个广义的光谱空间变换（SST），以进一步脱离原始图像。在2022年，即三年计划的第一年，我们提出了一个扩展的STT（XSTT），该扩展是基于为JPEG XS开发的Star-Tetrix Transform（STT），该转化率更加灵活，该转换是JPEG XS的，这是一种低扩增，标准标准的低潜伏期。 XSTT可以被视为2020年宣布的基于小波的SST（WSST）中的第四个WSST，因此可以说，它已经成功地将常规SST合并为四个广义SST。此外，我们提出了一种新的加权WSST（WWSST），该WSST（WWSST）将图像的边缘方向视为一种改进方法，以实现更有效的转换。这些结果也受到了IEEE图像处理，领域的最高期刊以及IEEE国际声学，语音和信号处理（ICASSP）2022年国际国际会议上的顶级会议的高度赞扬。这些结果也在第37届日本研究小组的信号处理中，并与许多研究人员讨论了一项研究人员，并与他们讨论了一项研究人员，并找到了一项研究人员，并找到了一项研究。另一方面，为了将原始图像用作全彩色图像，需要使用称为Demosaicing的像素完成处理。该过程与SST的预测步骤密切相关，因此认为这项技术的进步是必要的，并且还在基于深度学习的生成图像上同时进行研究。这一结果也在日本研究小组的第37个信号处理研讨会上提出。

项目成果

事前修復によるエッジ生成を用いた生成的画像インペインティング

使用边缘生成和预修复进行生成图像修复

• 发表时间: 2022
• 作者: 鄧嘉禾;鈴木大三
• 通讯作者: 鈴木大三

Bayer-RAW画像のための拡張Star-Tetrix変換

针对 Bayer-RAW 图像的增强型 Star-Tetrix 变换

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki;鈴木大三
• 通讯作者: 鈴木大三

Edge-aware extended Star-Tetrix transforms for CFA-sampled raw camera image compression

用于 CFA 采样原始相机图像压缩的边缘感知扩展 Star-Tetrix 变换

• DOI: 10.1109/tip.2022.3205470
• 发表时间: 2022
• 期刊: IEEE Transactions on Image Processing
• 影响因子: 10.6
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang
• 通讯作者: Taizo Suzuki and Liping Huang

Weighted wavelet-based spectral-spatial transforms for CFA-sampled raw image compression considering image features

考虑图像特征的基于加权小波的谱空间变换，用于 CFA 采样原始图像压缩

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki
• 通讯作者: Liping Huang and Taizo Suzuki