人間視覚に基づく画材に依存しない動画への絵画風効果付与

基于人类视觉，为视频添加不依赖艺术材料的绘画效果

• 批准号: 14J00211
• 负责人: 谷田川 達也
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2016-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J00211/
• 关键词: 双方向拡散表面反射分布関数; 画像に基づく物理パラメータ推定; 逆問題; 画像・動画編集; 情報圧縮; スパース正則化

本年は非均質半透明物体が持つ光学的性質を単一画像から推定する方法について研究を実施した。絵画に用いられる画材の多くは厳密にいえば半透明であり、半透明な物体に光が当たると、その物体表面下で複雑な光の拡散、吸収が起こる。この光学現象は表面化散乱と呼ばれ、絵画に限らず多くの実物体が持つ特有の見た目を作り上げている。この現象の物理的性質を少ない入力情報から推定できれば、CG画像の生成のほかにも広い用途に推定結果を利用できるため、この推定には本研究の主目的である絵画の見た目の忠実な再現以上に重要な意味がある。従来研究では、半透明物体の物理的性質を定めるパラメータの多さから測定対象が液体に限定されていたり、大量の計算リソースや特殊な撮影機材が必要であったりするなど多くの制約があった。本研究では、より多くの人が手軽に利用できることが重要と考え、単一の入力画像から非均質半透明物体の光学的性質を推定する方針とした。単一画像から複雑な光学的性質を推定する研究は少なく、唯一Munozらの研究[1]が均質な半透明物体に対して推定を試みたのみであった。Munozらの研究を追実験して、有効性を検証した結果、物理的な厳密さに妥協を許せば、得られるCG画像は実用に耐えうることが分かった。Munozらの研究では、物体の光学的性質を双方向拡散表面反射分布関数(以下BSSRDF)の形で推定した。Munozらの手法を非均質の半透明物体に拡張するため、本研究ではBSSRDFを扱いの容易な二つの関数の相乗平均で近似して、入力画像が持つ情報の少なさを補った。また見た目の近い画素同士を画像上でクラス分けし、同クラス内の画素が同様の光学的性質を持つと仮定することで、さらに推定パラメータを減らした。実験の結果、上記の近似によって物理的な厳密性が多少失われるものの、推定結果からCG画像を生成した際の見た目は十分に実物体に近いリアルさを再現できることが分かった。

今年，我们研究了如何从单个图像中估算Exerbal半透明对象的光学性质。绘画中使用的许多绘画材料都是严格的透明材料，当半透明物体是轻便的，复杂的光散射并在其物体表面下吸收。这种光学现象称为表面散射，创造了许多真实物体的独特外观，而不仅仅是绘画。如果可以从低输入信息中估算此现象的物理特性，则除了生成CG图像外，还可以将估计结果用于广泛的应用。根据常规研究，有许多限制，例如确定半透明物体物理特性的参数数量，测量目标仅限于液体，并且需要大量的计算资源和特殊的射击设备。在这项研究中，重要的是，更多的人可以轻松使用它，并且该政策是从单个输入图像中估算自我半透明对象的光学特性。很少有研究可以从单个图像估算复杂的光学特性，只有Munoz和其他研究[1]试图估计均匀翻译器。由于追求Munoz的研究并验证了有效性，发现如果允许对身体严格进行妥协，则可以获得的CG图像可以承受实际使用。在Munoz的研究中，对象的光学特性以两道扩散表面反射分布函数（BSSRDF）的形式估算。为了将Munoz等人的方法扩展到非凡的半透明对象，这项研究类似于处理BSSRDF的两个简单 - 辅助两个功能，并补偿了输入图像中缺乏信息。此外，通过对图像上彼此相近的像素进行分类，并假设同一类中的像素具有相似的光学特性，从而进一步降低了估计参数。实验的结果是，已经发现上述近似失去了一些身体严格性，但是从估计结果来看，生成CG图像的外观可以将靠近真实对象的现实主义重现。

项目成果

Sparse Pixel Samplingの研究紹介

稀疏像素采样研究简介

Sparse pixel sampling for appearance edit propagation

• DOI: 10.1007/s00371-015-1094-y
• 发表时间: 2015-06
• 期刊: The Visual Computer
• 作者: Tatsuya Yatagawa;Yasushi Yamaguchi

スパース放射基底関数マップによるリアルタイム画像・動画編集法

使用稀疏径向基函数图的实时图像/视频编辑方法

• 发表时间: 2014
• 作者: 谷田川 達也;山口 泰
• 通讯作者: 山口 泰

Temporally coherent video editing using an edit propagation matrix

• DOI: 10.1016/j.cag.2014.05.001
• 发表时间: 2014-10
• 期刊: Comput. Graph.
• 作者: Tatsuya Yatagawa;Yasushi Yamaguchi

Temporally Cohenrent Video Editingの研究紹介

时间一致视频编辑研究介绍