Research on spectral rendering in pursuit of reality

追求真实的光谱渲染研究

基本信息

批准号：
22K12092
负责人：
金田和文
金额：
$ 2.66万
依托单位：
Hiroshima University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究は，コンピュータグラフィックス（CG）におけるスペクトラルレンダリング普及の障壁となっている課題を解決し，CG生成画像のリアリティを大きくレベルアップすることを目的とする．そのため，まず光源スペクトルやスペクトル反射率などを考慮し効率よくレンダリングを行う手法を開発する．次に，RGB画像から深層学習を用いてスペクトル反射率やスペクトル情報をもつ画像に変換する手法を開発し，反射率やテクスチャなどのスペクトルデータを整備する．これにより，従来用いられてきたRGBレンダリングと同等の手軽さで高いクオリティーの映像を作成することができる手法の開発を目指す．今年度は主に、(1) 高い波長依存性をもつ光学現象をスペクトルを考慮してレンダリングを行うことができるスペクトラルレンダリング手法の開発を行った．表面に薄膜構造をもつ物体は光の干渉現象により色付いて見える．そして，光源方向や観察方向が変わると表面上の色合いも変化する．開発した手法は波動光学に基づき，このような光学現象をリアルに表示することが可能である．また，(2) RGB画像を深層学習を用いてスペクトル画像に変換するスペクトル超解像手法の開発を行った．開発した手法の特徴は色度と輝度を推定するネットワークに分けて深層学習を行うことにより，高精度にスペクトルを再構成することができる．さらに，それらの手法を融合させて，(3) スペクトル画像を環境マップとして用いたイメージベーストライティング手法の開発を行った．これにより，現実に近い光環境で波長依存性の高い光学現象の極めてリアルな表示が可能となった．

本研究的目的是解决阻碍光谱渲染在计算机图形学（CG）中推广的问题，并显着提高 CG 生成图像的真实水平。为此，我们首先开发了一种考虑光源光谱和光谱反射率的高效渲染方法。接下来，我们将开发一种利用深度学习将RGB图像转换为具有光谱反射率和光谱信息的图像的方法，并准备反射率和纹理等光谱数据。通过这一点，我们的目标是开发一种可以像传统 RGB 渲染一样轻松地创建高质量图像的方法。今年，我们主要致力于（1）开发一种光谱渲染方法，可以考虑光谱来渲染具有高波长依赖性的光学现象；表面具有薄膜结构的物体由于光干涉现象而呈现出颜色。当光源方向或观察方向改变时，表面的颜色也会发生变化。所开发的方法基于波动光学，能够真实地显示此类光学现象。此外，（2）我们开发了一种光谱超分辨率方法，利用深度学习将 RGB 图像转换为光谱图像。该方法的一个特点是，它可以通过对估计色度和亮度的网络进行深度学习来高精度地重建光谱。此外，通过结合这些方法，我们开发了（3）一种基于图像的照明方法，该方法使用光谱图像作为环境图。这使得在接近现实的光学环境中显示高度依赖波长的极其真实的光学现象成为可能。