Photo-realistic Image-based Modeling and Rendering in the Wild

基于图像的逼真建模和野外渲染

基本信息

批准号：
17F17350
负责人：
松下康之
金额：
$ 1.41万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-11-10 至 2020-03-31
项目状态：
已结题

项目摘要

本研究では，高精度な三次元復元と写実的なレンダリングを目的とし，平成29年から平成31年度の期間で主に高品質なテクスチャ生成とカメラの幾何学に関する研究を行った．研究期間の間に，高品質テクスチャ生成のための多視点カメラ画像からの外れ値除去（画像の認識・理解シンポジウム2019で登壇発表）のためのロバスト推定手法を開発し，既存手法に比して効果的に遮蔽によるテクスチャの外れ値が除去できることが確認できた．提案手法では，多視点画像から三次元形状復元の際に多視点画像間での対応点探索に用いられなかった画像領域を効率的に除去することでベースライン手法を上回る高品質なテクスチャ生成に成功している．また，三次元形状復元のために簡便な光源のキャリブレーション手法を開発した．本手法では，光源により照らされた未知の位置にある点が平面上に影を落とす際に，影の観察から光源と点の位置を同時に推定することが可能であることを示し，これを利用して光源の位置（あるいは方向）の推定が可能であることを示した．当該研究はコンピュータビジョン分野のトップ会議の一つであるEuropean Conference on Computer Vision (ECCV) 2018にて口頭発表論文に選出され（採択率は3.3%），国内外から高い評価を得た．以上の通り，本研究の目的であった高精度な三次元復元と写実的なレンダリングの研究を大きく前進することができた．

这项研究的重点是高精度3D修复和现实渲染，主要研究2017年至2019年之间高质量的纹理生成和摄像机几何。在研究期间，我们开发了一种可靠的估算方法，用于从多观看式摄像机中删除异常值，以确认高质量的质地（以图像识别和理解效果），并在2019年的范围内进行了确认），并在该图像中介绍了该图像。与现有方法相比，有效删除了。所提出的方法通过有效地删除未用于搜索多视频图像之间的相应点的图像区域，成功地生成了超过基线方法的高质量纹理，从而恢复了多视频图像的三维形状。此外，为三维形状恢复开发了一种简单的光源校准方法。在这种方法中，当一个未知位置在光源照亮的位置上呈现阴影时，可以同时估计光源的位置以及从阴影观察到的点，并且可以使用它来估算光源的位置（或方向）。这项研究被选为2018年欧洲计算机愿景会议（ECCV）的口头介绍，这是计算机视觉领域的顶级会议之一（3.3％），并受到国内和国际的高度赞扬。如上所述，我们在高精度3D修复和现实渲染方面的研究取得了长足的进步，这是这项研究的目标。