omni-directional image generation from snapshot image

从快照图像生成全方位图像

基本信息

批准号：
21K11943
负责人：
山中高夫
金额：
$ 2.08万
依托单位：
Sophia University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では，通常のスナップ写真から全天球画像を生成する課題を研究対象とした。全天球画像とは，カメラの全方向を同時に撮影して得られる画像のことで，仮想現実感(VR)や拡張現実感(AR)のコンテンツを作成する際に利用される。全天球画像の活用は徐々に増えつつあるが，通常のカメラで撮影されるスナップ写真に比べると，まだ限られた用途にしか活用されていない。本研究では手軽に撮影できるスナップ写真から全天球画像を生成する手法を確立することを目的とした。本年度は、(1) 階層型全天球画像生成モデルの検討、(2) MLPMixerを用いた手法に対する多様性の評価、(3) 任意のカメラ方向で撮影した画像から全天球画像の生成、(4) 拡散モデルの活用の検討の4点について検討を行った。(1)において、従来、単一のU-Netを用いて全天球画像を生成していたが、階層型全天球画像生成モデルでは、はじめに低解像度の画像から生成を初めて徐々に解像度の高い画像を生成する手法を提案した。(2)において、昨年度MLPMixerを利用した全天球画像生成手法を提案したが、本年度はその手法において中央に埋め込んだ入力画像の情報が全天球画像全体に効率的に伝達できているかを評価するために、生成された画像の多様性の評価を行った。(3)において、昨年度CNNを利用した手法で、任意のカメラ方向で撮影した画像から全天球画像を生成する手法を検討したが、本年度はMLPMixerを利用した手法でも任意のカメラ方向の入力で利用できるように検討した。(4)において、従来GANを利用して全天球画像生成を行っていたが、近年画像生成モデルとして利用されている拡散モデルの適用を検討した。現時点ではGANよりも精度の良い画像生成はできていないが、今後、その原因を検討することで拡散モデルの活用方法を検討する。

在本研究中，我们重点研究从普通快照生成球形图像的问题。球形图像是通过使用相机同时捕获来自各个方向的图像而获得的图像，并且在创建虚拟现实（VR）和增强现实（AR）内容时使用。尽管球面图像的使用逐渐增加，但与普通相机拍摄的快照相比，它们的用途仍然有限。这项研究的目的是建立一种从易于拍摄的快照生成球形图像的方法。今年，我们将 (1) 研究分层球形图像生成模型，(2) 使用 MLPMixer 评估方法的多样性，(3) 从任意相机方向拍摄的图像生成球形图像，(4) 我们检查了关于使用扩散模型。在（1）中，传统上使用单个U-Net来生成球形图像，但在分层球形图像生成模型中，从低分辨率图像开始生成，并逐渐提高分辨率。高质量的图像。在（2）中，去年我们提出了一种使用MLPMixer的球形图像生成方法，但今年我们将评估是否可以使用该方法将嵌入在中心的输入图像的信息有效地传输到整个球形图像。为此，我们评估了生成图像的多样性。在(3)中，去年我们考虑了一种使用CNN从任意相机方向拍摄的图像生成球形图像的方法，但今年我们将使用一种使用MLPMixer的方法，它也可以用于输入任意相机方向。考虑将其提供。在（4）中，我们传统上使用GAN来生成球形图像，但我们考虑应用扩散模型，该模型近年来已被用作图像生成模型。目前还无法生成比 GAN 更高精度的图像，但将来我们将调查其原因并考虑如何利用扩散模型。