単一画像に基づく高ダイナミックレンジ画像の生成法に関する研究

基于单幅图像的高动态范围图像生成方法研究

基本信息

批准号：
18J20326
负责人：
木下裕磨
金额：
$ 1.34万
依托单位：
Tokyo Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2021-03-31
项目状态：
已结题

项目摘要

研究第2年度までに，当初に予定していた単一画像に基づくHDR画像生成法の開発は順調に進捗し，深層学習の利用により高品質HDR画像の生成を実現した．そのため，第3年度は，(1)高品質HDR画像生成に必要とされる深層学習そのものの性能向上，および(2)画像処理に起因する色歪み回避のための色相補正法の開発に取り組んだ．本研究で開発した単一画像に基づくHDR画像生成法においては，畳み込みニューラルネットワーク（CNN）を利用している．CNNでは，画像や特徴マップ等の入力信号のダウン・アップサンプリング処理が一般に行われる．これらダウン・アップサンプリング処理は，出力信号あるいは逆伝搬される勾配信号に「チェス盤歪み」という一種の歪みをもたらすことが知られている．そこで，(1)の深層学習の性能向上においては，CNNにおけるチェス盤歪みの回避を目的に研究を遂行した．この目的の実現のため，チェス盤歪みの発生を完全に抑制できる固定畳み込み層を提案した．この成果は，IEEE ICASSPおよびAPSIPA ASCにおいて発表した．(2)は，HDR画像生成法によって得られるHDR画像の色を制御する目的で実施した．既存の多くの画像処理法は，入力画像の持つ色を歪ませてしまう．特に深層学習を用いた場合には，出力画像を制御することが困難である．開発した色相補正法は，CIELAB空間での色相の定義に従い，入力画像とある画像処理アルゴリズムで得られた画像間の色相が完全に一致するように補正処理を行う．開発した色相補正法は，深層学習を含む任意の画像処理アルゴリズムと組み合わせて利用することができる．これらの成果は，電子情報通信学会SIS研究会にて発表した．さらに，これら成果をまとめた論文は，APSIPA Transactions Signal and Information Processingに掲載された．

到了研究的第二年，原本计划的基于单张图像的HDR图像生成方法的开发进展顺利，利用深度学习实现了高质量HDR图像的生成。因此，在第三年，我们致力于（1）提高生成高质量 HDR 图像所需的深度学习本身的性能，以及（2）开发色调校正方法以避免图像处理引起的颜色失真．．本研究开发的基于单张图像的 HDR 图像生成方法使用卷积神经网络（CNN）。在CNN中，通常对图像、特征图等输入信号进行下采样和上采样处理。众所周知，这些自下而上的采样过程会在输出信号或反向传播梯度信号中引起一种称为“棋盘失真”的失真。因此，在（1）中，为了提高深度学习的性能，我们进行了旨在避免CNN中棋盘扭曲的研究。为了实现这个目标，我们提出了一个固定的卷积层，可以完全抑制棋盘畸变的发生。该结果已在 IEEE ICASSP 和 APSIPA ASC 上发表。实现(2)的目的是为了控制通过HDR图像生成方法获得的HDR图像的颜色。许多现有的图像处理方法会扭曲输入图像的颜色。尤其是在使用深度学习时，很难控制输出图像。所开发的色调校正方法根据CIELAB空间中色调的定义进行校正处理，使得输入图像与通过图像处理算法获得的图像之间的色调完全匹配。开发的色调校正方法可以与任何图像处理算法结合使用，包括深度学习。这些结果已在电子、信息和通信工程师协会的 SIS 研究小组上发表。此外，总结这些结果的论文发表在 APSIPA Transactions Signal and Information Processing 上。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Based on Tone Mapping Operator

iTM-Net：使用基于色调映射算子的新颖损失函数进行深度逆色调映射

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
Kinoshita Yuma;Kiya Hitoshi
通讯作者：
Kiya Hitoshi

MULTI-EXPOSURE IMAGE FUSION BASED ON EXPOSURE COMPENSATION

DOI：
10.1109/icassp.2018.8461604
发表时间：
2018-01-01
期刊：
2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)
影响因子：
0
作者：
Kinoshita, Yuma;Yoshida, Taichi;Kiya, Hitoshi
通讯作者：
Kiya, Hitoshi

A Hue Correction Scheme Based on Constant-Hue Plane for Color Image Enhancement

DOI：
10.1109/apsipaasc47483.2019.9023061
发表时间：
2019-11
期刊：
2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
影响因子：
0
作者：
Yuma Kinoshita;Kouki Seo;H. Kiya
通讯作者：
Yuma Kinoshita;Kouki Seo;H. Kiya

チェス盤歪みを考慮した固定畳み込み層を含むCNNとその効果

考虑棋盘畸变及其影响的具有固定卷积层的 CNN