単一画像からの高ダイナミックレンジ深層画像生成

从单个图像生成高动态范围深度图像

• 批准号: 22KJ1014
• 负责人: 堀田 大地
• 金额: $ 1.6万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1014/
• 关键词: HDR合成; 深層生成モデル; 拡散モデル; HDR合成; 深層生成モデル; 拡散モデル

本年度の目標はデータセットの構築やそれを学習するための深層学習モデルの構築であった．データセットの構築では評価に十分なデータセットを構築することができた．しかしながら，深層学習モデルの構築ではあまり新規性のあるような手法を構築することができなかった．その結果，査読付き論文への投稿を行ったが不採択に至った．本年度中に深層生成モデルに大きな影響を与える拡散モデルが幅広く台頭し始め，本年度に注目したGenerative Adversarial Networks（GANｓ）より優れた生成能力を有すことが知られるようになった．本年度後半はこの拡散モデルに注目をし，まずは理論的な学習から始めどのように本研究課題に対して有効に利用できるかを検討した．　拡散モデルはより大規模なデータセットを用いた場合に有効に学習できることが知られており，既存の学習用データセットを拡張するか，効率的に利用できるようなパイプラインを構築する必要があると感じた．モデルの構築よりも効率的に学習できるようなデータ増強やパイプラインを検討することが非常に重要だと判断し取り組んだ．　上述した査読付き論文ではそのようなパイプラインを含めた論文を投稿したが，不採択の主な原因はこのパイプラインが既存のものより非常に優れているわけではないことに加え，検討したネットワーク構造が本当に有効であるかを十分示せれていないことであった．これらの結果を踏まえ，効率的なパイプラインの構築を重要だと判断した．加えて，本研究課題であるHDR合成にとらわれず幅広い文献を読み考える時間を重視した．これはHDR合成よりもより一般的な問題設定におけるアプローチを参考にし本研究課題に役立てるためである．

今年的目标是建立一个数据集并建立一个深入学习模型来学习它。数据集构造使我们能够构建一个足以评估的数据集。但是，深度学习模型的构建无法构建非常新颖的方法。结果，我们提交了一份同行评审的论文，但不被接受。在这一年中，对深度生成模型产生重大影响的扩散模型已经开始广泛出现，并且已知它具有比我们今年关注的生成对抗网络（GAN）具有优越的生成能力。在今年下半年，我们专注于这个扩散模型，然后从理论学习开始，探索如何有效地用于该研究主题。众所周知，使用较大的数据集可以有效地训练扩散模型，我们认为有必要扩展现有的训练数据集或构建可以有效使用的管道。我们认为，考虑数据增强和管道非常重要，这些数据和管道比建筑模型更有效地学习。经过同行评审的论文提交了一篇文章，其中包括这样的管道，但是拒绝的主要原因是该管道并不比现有的管道优越，并且不足以证明所检查的网络结构是否真的有效。基于这些结果，我们认为有效管道的构建将很重要。此外，我们专注于阅读和思考广泛的文献，而不是受HDR综合的约束，这是我们的研究主题。这是因为它通过参考问题设置中比HDR合成更一般的问题来帮助使用此研究主题。