広域3D環境に関するニューラル暗黙表現の学習とその応用に関する研究

神经隐式表示学习及其在广域3D环境中的应用研究

基本信息

批准号：
22K12166
负责人：
丸山稔
金额：
$ 2.25万
依托单位：
Shinshu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は広域3次元環境に対しても適用可能な3次元暗黙表現を学習するための手法を確立することである。このための基本方式としてはencoder-decoder型の処理を用いることを想定している。今年度の研究においては、入力として複数画像を用いた場合の全体手法の考案、visual transformerを含む種々のencoderの方式の検討、さらに、encoder出力として得られるテンソルを入力の特徴量とみなした場合の形状類似度検索への適用可能性の検討などを行った。今年度の研究においては、3次元モデル構築のために複数画像を入力とする方式として、画像間の照合などは行わず、画像枚数も上限のみを設定するものの、入力数を自由に設定できる方式を考案した。またこれらの入力に対して適用するencoderとしては、従来画像識別で高い能力が実証されているResNetと近年自然言語処理の分野で広く用いられ、画像等への適用も進んでいる(vision) transformerを用い、能力比較を行った。本方式では画像間の照合などは行わず順序関係を与えることはできない。このような並べ替えに対する不変性を保証するためにはmax-poolingやtransformerの場合はpositional encodingをあえて行わない方式を用いた。これらの手法の適用により構築される3Dモデルを従来手法のひとつであるDISN（deep implicit surface network）と比較し、同等以上の能力を有することを確認した。このようなencoder-decoder型の処理の際、encoderから得られるテンソル表現は入力の特徴量とみなすことができる。これらが形状類似度検索に適用できるかどうかの基礎検討に着手した。

本研究的目的是建立一种可应用于广域 3D 环境的学习 3D 隐式表示的方法。为此目的的基本方法是使用编码器-解码器类型的处理。在今年的研究中，我们将设计一种使用多个图像作为输入时的整体方法，研究包括视觉变换器在内的各种编码器方法，并将作为编码器输出获得的张量视为输入特征，我们研究了该方法对形状相似性的适用性。搜索。在今年的研究中，我们将使用输入多个图像来构建3D模型的方法，尽管我们不进行图像之间的匹配并且仅设置图像数量的上限，但我们将使用允许图像数量的方法。输入可自由设计。此外，可以应用于这些输入的编码器包括已被证明在图像识别方面具有高性能的ResNet，以及近年来在自然语言处理领域得到广泛应用并越来越多的（视觉）Transformers。应用于图像的能力比较。该方法不进行图像之间的匹配，无法提供排序关系。为了保证这种排序的不变性，我们使用了一种在最大池或变压器的情况下故意不执行位置编码的方法。我们将应用这些方法构建的 3D 模型与传统方法之一 DISN（深度隐式表面网络）进行比较，并确认它们具有相同或更好的性能。在这种编码器-解码器类型的处理过程中，从编码器获得的张量表示可以被视为输入特征量。我们开始了一项基础研究，看看这些方法是否可以应用于形状相似性搜索。