Surface and Subsurface Scattering Property Estimation and Simplification for Material Editing on Real-world Photographs

真实照片材质编辑的表面和次表面散射特性估计和简化

基本信息

批准号：
16J02280
负责人：
谷田川達也
金额：
$ 2.08万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2016
资助国家：
日本
起止时间：
2016-04-22 至 2019-03-31
项目状态：
已结题

项目摘要

本年度は、昨年開発した測定システムの精度向上、ならびに実時間レンダリングでの利用を目的にして研究を進めた。本年度の研究では、光の散乱を表すモデル自体の見直しを行った。通常、より複雑な計算モデルを用いれば、その計算にかかる時間やメモリ使用量などは増大してしまい、この研究の当初の目的である効率的な光学特性の取得に反する。本研究では、畳み込み積分が計算機での効率的な計算に有利であることに注目し、物理的な散乱現象を記述する方程式からガウス関数での畳み込みと、画像の画素同士の積だけからなる計算モデルを導出した。ガウス関数での畳み込みと画像の画素同士の積は、いずれも並列計算機を用いて効率的に計算できるため、この計算モデルは、従来モデルと同等の計算速度で、物理現象に即した非等方性の散乱を表現できる。また、この新しい表現法は、その計算モデル自体が計算効率の良いモデルであるため、光学特性の推定だけでなく、測定済みの物理パラメータを用いた映像生成の際にも役立つ。従来の実時間レンダリング法では、非等方性の散乱を等方性の散乱で近似して計算効率を向上していたが、上記の通り、提案の表現モデルは非等方性の散乱を考慮しながらも、実応用で標準的に用いられるFull HDの解像度(1920×1080ピクセル)の映像を、それに十分な計算速度とされる秒間120フレームで描画できる。この成果は現在、国際論文誌への投稿を準備中である。加えて、静止画像に映り込んだ半透明材質の質感を別の静止画像ならびに動画像中の物体に転写する手法についても共同研究を実施した。この手法は単純な画像処理のアルゴリズムの組み合わせのみで実現されるが、近年の深層学習モデルに基づく手法を大きく上回る品質で半透明材質の質感を転写できる。この成果は関係分野における代表的な国際会議であるComputer Graphics International 2019にて発表予定である。

今年，我们进行了研究，目的是提高去年开发的测量系统的准确性并实时渲染。今年的研究回顾了代表光散射的模型本身。通常，使用更复杂的计算模型增加了计算中涉及的时间和内存使用率，这与本研究的初始目的相反，这是对光学性质的有效获取。在这项研究中，我们专注于计算机中有效计算的卷积积分的优势，并得出了仅由高斯功能的卷积组成的计算模型，以及图像中描述物理散射现象的图像中像素的产物。由于可以使用平行计算机有效地计算出具有高斯函数的卷积和图像中像素的乘积，因此该计算模型可以表达各向异性散射，这与与常规模型相当的计算速度下与物理现象一致。此外，由于计算模型本身是一个高度计算上有效的模型，因此该新的表达方法不仅用于估计光学特性，而且用于使用测量的物理参数生成图像。在常规的实时渲染方法中，各向同性散射近似各向异性散射以提高计算效率。但是，如上所述，提出的表达模型考虑了各向异性散射，同时仍考虑到各向异性散射，可以绘制通常在每秒120帧的实际应用中使用的全高清分辨率（1920 x 1080像素）的图像，这被认为是足够的计算。目前，这项成就正在为提交国际文件做好准备。此外，还针对一种将静态图像中反映到另一个静止图像的半透明材料的质地的方法进行了协作研究。可以通过简单地结合简单的图像处理算法来实现此技术，但是可以将半透明材料的质地转移，其质量明显高于基于最近的深度学习模型的方法。结果将在2019年计算机Graphics International（相关领域的国际领先会议）上介绍。