質感再現のための任意視点画像生成ネットワーク

用于纹理再现的任意视点图像生成网络

• 批准号: 22K12088
• 负责人: 小室 孝
• 金额: $ 2.66万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12088/
• 关键词: 質感再現; 任意視点画像; 深層学習; 画像変換

本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。

今年，作为再现纹理的第一步，我们尝试通过镜面反射来插入金属物体的视点。我们改进了常用于图像转换的深度神经网络U-Net，使其通过输入四个角的捕获图像和视点坐标来输出任意视点位置的图像。通过使用 CG 进行的实验，我们证实可以使用所提出的方法再现金属物体的反射。这项研究成果在CG领域的重要国际会议Computer Graphics International 2022（CGI 2022）上发表，论文随后发表在Virtual Reality & Intelligent Hardware上。此外，我们对具有表面散射的物体进行了类似的实验，结果表明该方法不仅可以应用于金属物体，还可以应用于具有更复杂反射特性的物体。我们还进行了一项实验，使用风格转换从普通图像中再现金属物体的纹理。使用环境图，生成反映周围环境的金属物体的 CG 图像并用于网络训练。通过改变 pix2pix（一种典型的风格转换网络）的网络配置和损失函数，我们能够再现真实的反射。通过这个实验，我们重申了反射在呈现物体纹理方面发挥着重要作用，并获得了可在未来视点插值实验中使用的知识。此外，研究正在稳步推进，包括实施第二年及以后计划的一些计划，例如引入 GAN 和实施 AR 应用。

项目成果

View Interpolation Networks for Reproducing Material Appearance of Specular Objects

• DOI: 10.1016/j.vrih.2022.11.001
• 发表时间: 2023-02
• 期刊: Virtual Real. Intell. Hardw.
• 作者: Chihiro Hoshizawa;T. Komuro