単一画像からの高ダイナミックレンジ深層画像生成

从单个图像生成高动态范围深度图像

基本信息

批准号：
22KJ1014
负责人：
堀田大地
金额：
$ 1.6万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1014/
关键词：
HDR合成深層生成モデル拡散モデル

项目摘要

本年度の目標はデータセットの構築やそれを学習するための深層学習モデルの構築であった．データセットの構築では評価に十分なデータセットを構築することができた．しかしながら，深層学習モデルの構築ではあまり新規性のあるような手法を構築することができなかった．その結果，査読付き論文への投稿を行ったが不採択に至った．本年度中に深層生成モデルに大きな影響を与える拡散モデルが幅広く台頭し始め，本年度に注目したGenerative Adversarial Networks（GANｓ）より優れた生成能力を有すことが知られるようになった．本年度後半はこの拡散モデルに注目をし，まずは理論的な学習から始めどのように本研究課題に対して有効に利用できるかを検討した．　拡散モデルはより大規模なデータセットを用いた場合に有効に学習できることが知られており，既存の学習用データセットを拡張するか，効率的に利用できるようなパイプラインを構築する必要があると感じた．モデルの構築よりも効率的に学習できるようなデータ増強やパイプラインを検討することが非常に重要だと判断し取り組んだ．　上述した査読付き論文ではそのようなパイプラインを含めた論文を投稿したが，不採択の主な原因はこのパイプラインが既存のものより非常に優れているわけではないことに加え，検討したネットワーク構造が本当に有効であるかを十分示せれていないことであった．これらの結果を踏まえ，効率的なパイプラインの構築を重要だと判断した．加えて，本研究課題であるHDR合成にとらわれず幅広い文献を読み考える時間を重視した．これはHDR合成よりもより一般的な問題設定におけるアプローチを参考にし本研究課題に役立てるためである．

今年的目标是构建一个数据集和一个深度学习模型以从中学习。在构建数据集时，我们能够构建足以进行评估的数据集。然而，在构建深度学习模型时，不可能创建非常新颖的方法。结果，我将论文提交给同行评审论文，但没有被接受。今年，对深度生成模型有较大影响的扩散模型开始广泛出现，并且众所周知，其生成能力优于我们今年重点关注的生成对抗网络（GAN）。今年下半年，我们重点关注这个扩散模型，从理论研究开始，考虑如何将其有效地应用于本研究课题。众所周知，扩散模型可以使用更大的数据集进行有效的训练，并且我认为有必要扩展现有的训练数据集或构建可以有效使用的管道。我们认为考虑数据增强和管道非常重要，这将使学习比构建模型更有效。在上面提到的同行评审论文中，我们提交了一篇包含这样一条管道的论文，但其被拒绝的主要原因是，这条管道并没有明显优于现有的管道，而且网络考虑的问题是它不是充分表明该结构确实有效。基于这些结果，我们认为构建高效的管道非常重要。此外，我强调花时间阅读和思考广泛的文献，而不仅限于HDR合成，这是本研究的主题。这是指比 HDR 合成更通用的问题设置方法，并将其用于本研究主题。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse

Ukemochi：用于虚拟宇宙中饮食体验的视频透视食物覆盖系统

DOI：
10.1145/3491101.3519779
发表时间：
2022
期刊：
CHI Conference on Human Factors in Computing Systems Extended Abstracts
影响因子：
0
作者：
Yamakawa Koichiro;Ishibashi Atsuki;Namiyoshi Toshinobu;Azuma Yuichi;Arakawa Ichiro;Kizashi Nakano,Daichi Horita,Naoya Isoyama,Hideaki Uchiyama,Kiyoshi Kiyokawa
通讯作者：
Kizashi Nakano,Daichi Horita,Naoya Isoyama,Hideaki Uchiyama,Kiyoshi Kiyokawa

Fast Nonlinear Image Unblending