人間視覚に基づく画材に依存しない動画への絵画風効果付与

基于人类视觉，为视频添加不依赖艺术材料的绘画效果

基本信息

批准号：
14J00211
负责人：
谷田川達也
金额：
$ 1.09万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2014
资助国家：
日本
起止时间：
2014-04-25 至 2016-03-31
项目状态：
已结题

项目摘要

本年は非均質半透明物体が持つ光学的性質を単一画像から推定する方法について研究を実施した。絵画に用いられる画材の多くは厳密にいえば半透明であり、半透明な物体に光が当たると、その物体表面下で複雑な光の拡散、吸収が起こる。この光学現象は表面化散乱と呼ばれ、絵画に限らず多くの実物体が持つ特有の見た目を作り上げている。この現象の物理的性質を少ない入力情報から推定できれば、CG画像の生成のほかにも広い用途に推定結果を利用できるため、この推定には本研究の主目的である絵画の見た目の忠実な再現以上に重要な意味がある。従来研究では、半透明物体の物理的性質を定めるパラメータの多さから測定対象が液体に限定されていたり、大量の計算リソースや特殊な撮影機材が必要であったりするなど多くの制約があった。本研究では、より多くの人が手軽に利用できることが重要と考え、単一の入力画像から非均質半透明物体の光学的性質を推定する方針とした。単一画像から複雑な光学的性質を推定する研究は少なく、唯一Munozらの研究[1]が均質な半透明物体に対して推定を試みたのみであった。Munozらの研究を追実験して、有効性を検証した結果、物理的な厳密さに妥協を許せば、得られるCG画像は実用に耐えうることが分かった。Munozらの研究では、物体の光学的性質を双方向拡散表面反射分布関数(以下BSSRDF)の形で推定した。Munozらの手法を非均質の半透明物体に拡張するため、本研究ではBSSRDFを扱いの容易な二つの関数の相乗平均で近似して、入力画像が持つ情報の少なさを補った。また見た目の近い画素同士を画像上でクラス分けし、同クラス内の画素が同様の光学的性質を持つと仮定することで、さらに推定パラメータを減らした。実験の結果、上記の近似によって物理的な厳密性が多少失われるものの、推定結果からCG画像を生成した際の見た目は十分に実物体に近いリアルさを再現できることが分かった。

今年，我们对如何从单个图像中估算非同质性半透明物体的光学性质进行了研究。绘画中使用的大多数艺术材料都是严格的半透明，当光撞击半透射物体时，复杂的光扩散和吸收就会在物体表面下方。这种光学现象称为表面散射，并创建了许多真实物体所具有的独特外观，而不仅仅是绘画。如果可以从小输入信息中估算此现象的物理特性，则估计结果除了产生CG图像外，还可以用于广泛的目的，并且该估计具有比对绘画外观的忠实复制的重要意义更重要的，这是本研究的主要目的。先前的研究包括许多限制，例如，将半透明物体的物理特性限制在液体中的大量参数，以及需要大量计算资源和特殊摄影设备的需求。在这项研究中，我们认为重要的是要轻松地使用更多的人使用它，并且我们决定估算单个输入图像中非均匀半透明对象的光学特性。很少有研究估计单图像中复杂的光学特性，只有Munoz等人的工作[1]试图估计均匀的半透明物体。在进行了Munoz等人的研究进一步实验之后，我们发现，如果我们损害了身体严格，获得的CG图像可以承受实际使用。在Munoz等人的研究中，物体的光学性质以双向扩散的表面反射分布函数（以下称为BSSRDF）的形式进行了估算。扩展Munoz等人的方法。对于非均匀的半透明物体，在这项研究中，BSSRDF通过两个易于处理的函数的几何平均值近似，以补偿输入图像中缺乏信息。此外，通过对图像上出现相似外观的像素进行分类，并假设同一类中的像素具有相似的光学特性，则进一步降低了估计的参数。实验表明，尽管上述近似失去了一定的严格性，但估计的结果表明，CG图像的外观可以足够接近实际物体。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Sparse Pixel Samplingの研究紹介

稀疏像素采样研究简介

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Sparse pixel sampling for appearance edit propagation

DOI：
10.1007/s00371-015-1094-y
发表时间：
2015-06
期刊：
The Visual Computer
影响因子：
0
作者：
Tatsuya Yatagawa;Yasushi Yamaguchi
通讯作者：
Tatsuya Yatagawa;Yasushi Yamaguchi

スパース放射基底関数マップによるリアルタイム画像・動画編集法

使用稀疏径向基函数图的实时图像/视频编辑方法

DOI：
发表时间：
2014
期刊：
影响因子：
0
作者：
谷田川達也;山口泰
通讯作者：
山口泰

Temporally coherent video editing using an edit propagation matrix

DOI：
10.1016/j.cag.2014.05.001
发表时间：
2014-10
期刊：
Comput. Graph.
影响因子：
0
作者：
Tatsuya Yatagawa;Yasushi Yamaguchi
通讯作者：
Tatsuya Yatagawa;Yasushi Yamaguchi

Temporally Cohenrent Video Editingの研究紹介

时间一致视频编辑研究介绍

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

谷田川達也其他文献

Neural Progressive Photon Mapping: 深層学習による適応的フォトン散布を用いたフォトンマッピング法

Neural Progressive Photon Mapping：利用深度学习的自适应光子散射的光子映射方法

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
辻雄太;谷田川達也;森島繁生
通讯作者：
森島繁生

グラフ畳み込みニューラルネットワークを用いた教師なし学習によるノイズ除去法

使用图卷积神经网络的无监督学习的噪声去除方法

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
服部翔大;谷田川達也;大竹豊;鈴木宏正
通讯作者：
鈴木宏正

CG映像生成における光の散乱～実世界の忠実な表現に向けて～

CG图像生成中的光散射～忠实再现现实世界～

DOI：
发表时间：
2018
期刊：
影响因子：
0
作者：
C. Callegari;T. Takanashi;H. Fukuzawa;K. Motomura;D. Iablonskyi;Y. Kumagai;S. Mondal;T. Tachibana;K. Nagaya;T. Nishiyama;K. Matsunami;P. Johnsson;P. Piseri;G. Sansone;A. Dubrouil;M. Reduzzi;P. Carpeggiani;C. Vozzi;M. Devetta;D. Facciala;谷田川達也
通讯作者：
谷田川達也