四次元視点移動を可能にする自由視点画像生成

自由视点图像生成，可实现四维视点移动

• 批准号: 13J07448
• 负责人: 大倉 史生
• 金额: $ 1.32万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2013
• 资助国家: 日本
• 起止时间: 2013 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13J07448/
• 关键词: コンピュータグラフィックス; テクスチャ合成; 色調合成; 季節変化; 複合現実感; イメージベースドレンダリング; 視点依存テクスチャマッピング; 仮想物体合成

フランスINRIAのREVESグループにおよそ10ヶ月間滞在し、G. Drettakis, A. Bousseau, K. VanhoeyおよびUC BerkeleyのA. Efrosと共同で、色調合成(color transfer)とテクスチャ合成(texture transfer)法を併用し、写真中の季節変化を表現する手法を開発した。これは、前年度に取り組んだ、イメージベースドレンダリング(IBR)による現実空間の仮想化に基づく軽量・写実的な仮想物体合成手法によって実現される長い時間の変化(遠い過去・未来)を表現する手法と、すでにいくつかの従来研究で実現されてきた、光源付与による短い時間の変化(時間・天気変化)を実現する手法では実現できない時間変化を表現する、いわば本研究課題の四次元自由視点画像生成におけるミッシングリンクを埋める研究であり、本研究課題の最終年度にふさわしい内容となった。提案手法は、変換ターゲットとなる画像および、学習用画像群を入力とする。従来、同様の入力を対象とした色調合成手法、テクスチャ合成手法が提案されてきた。しかし、前者は物体のテクスチャ・形状変化を表現できない。また、後者はターゲット画像中のシーン構造を大きく変化させる。我々は、両手法を選択的に用いることで、ターゲット画像の構造を保持したまま、テクスチャ変化を表現する手法を開発した。具体的には、ターゲット画像中で色調合成が十分に学習画像内の変化を表現しているかどうかを予測し、そうでない部分(テクスチャ合成が必要な部分)のみにテクスチャを合成する。提案手法により、テクスチャの変化を伴う情景変化(樹木の変化、積雪、洪水など)を表現することが可能であることを実証した。以上の研究成果を、コンピュータグラフィックスのトップカンファレンスであるSIGGRAPH 2015に投稿した。

他在法国因里亚里亚（Inria France）的Reves Group中度过了大约10个月，并与加州大学伯克利分校的G. Drettakis，A。Bousseau，K。Vanhoey和A. Efros合作，开发了一种使用色彩转移和纹理转移方法来表达照片中季节性变化的方法。这是一项研究，该研究填补了该研究主题的四维免费视图图像生成中缺失的链接，该方法表达了一种长期变化（遥远的过去和未来），基于基于图像的流量渲染（IBR）的轻巧，现实对象综合方法（IBR）实现了我们上一年的时间和时间的变化，并且在使用该时间的变化已经变化了，该方法已更改了，该方法已实现了多个时间的变化。因此，添加光源，因此适合本研究主题的最后一年。提出的方法涉及输入要转换目标和学习图像的图像。通常，已经提出了针对类似输入的色调合成和纹理合成的类似方法。但是，前者无法表达对象的纹理和形状的变化。此外，后者显着改变了目标图像中的场景结构。通过选择性使用这两种方法，我们开发了一种表达纹理变化的方法，同时保留目标图像的结构。具体而言，可以预测，色调成分是否充分表达目标图像中的学习图像的变化，并且纹理仅合成于不具有相似区域的区域（需要纹理组成的一部分）。我们证明了所提出的方法可以表达场景变化（树木变化，雪，洪水等），并伴随着纹理的变化。上述研究结果发布在最高计算机图形会议的Siggraph 2015上。

项目成果

事前生成型モバイルAR

预生成的移动 AR

• 发表时间: 2013
• 作者: 赤熊 高行;大倉 史生;佐藤 智和;横矢 直和
• 通讯作者: 横矢 直和

自由視点画像生成による移動ロボットの遠隔操縦インタフェース

使用自由视点图像生成的移动机器人远程控制接口

• 发表时间: 2013
• 作者: 大倉 史生;上田 優子;佐藤 智和;横矢 直和
• 通讯作者: 横矢 直和

Mixed-reality world exploration using image-based rendering

使用基于图像的渲染进行混合现实世界探索

• DOI: 10.1145/2700428
• 发表时间: 2015
• 期刊: ACM Journal on Computing and Cultural Heritage
• 影响因子: 2.4
• 作者: Fumio Okura;Masayuki Kanbara;and Naokazu Yokoya
• 通讯作者: and Naokazu Yokoya

事前レンダリングと自由視点画像生成による仮想化実空間への仮想物体の写実的合成

使用预渲染和自由视点图像生成在虚拟现实空间中逼真地合成虚拟对象

• 发表时间: 2013
• 作者: 大倉 史生;神原 誠之;横矢 直和
• 通讯作者: 横矢 直和

Mobile AR using pre-captured omnidirectional images

使用预先捕获的全向图像的移动 AR

• DOI: 10.1145/2543651.2543666
• 发表时间: 2013
• 期刊: ACM SIGGRAPH Asia 2013 Symposium on Mobile Graphics and Interactive Applications
• 作者: Takayuki Akaguma;Fumio Okura;Tomokazu Sato;and Naokazu Yokoya
• 通讯作者: and Naokazu Yokoya