Part-based 3D shape retrieval using multi-modal query

使用多模态查询进行基于零件的 3D 形状检索

基本信息

批准号：
21K11903
负责人：
大渕竜太郎
金额：
$ 2.66万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11903/
关键词：
3次元点群解析 3次元点群形状再構成 3次元形状類似検索自己教師あり学習 3次元点群トランスフォーマー深層学習 3次元形状検索トランスフォーマー拡散距離教師無し学習部分3D形状検索マルチメディア検索 3D形状比較マルチモーダルクエリ機械学習

项目摘要

本年度は，昨年度に引き続き，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の3つのアプローチから研究を行った．(1)３D点群形状再構成エンコーダDNN：潜在特徴から高精度な3D形状を再構成するデコーダDNNを提案し評価した．提案した手法は，3D空間および高次元の特徴空間において多数のパッチを生成し，これらパッチを変形して融合することで3D形状を高精度に再構成する．3D形状から潜在特徴空間の特徴ベクトルへのエンコーダDNNを自己教師あり学習する場合，しばしば，これを潜在特徴空間の特徴ベクトルから3D形状へのデコーダDNNと対にして学習を行う．その場合，高精度に３D形状再構成を行うデコーダを用いることで，より高精度な3D形状エンコーダの学習が可能となる．（研究発表1，採録）(2) トランスフォーマDNNによる3D点群解析：トランスフォーマによる高精度かつ回転不変な3D点群形状特徴取得をめざし，昨年度に引き続き研究を行った．改良を加えた結果，回転不変に3D点群を解析する手法としては既存手法と比較して最高の精度を達成した．（研究発表2，査読中）(3) 検索向けの3D形状特徴教師無し学習：類似検索に有用な形状間類似度を得られるような，連続かつなめらかな形状特徴空間を教師無しで学習することを目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを行うDeepDiffusion法を提案し評価した．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった．（研究発表3，採録）

今年，继去年的基础上，我们对作为 3D 形状检索基础的三维 (3D) 形状分析以及使用以下三种方法获取 3D 形状特征的方法进行了研究。 (1) 3D 点云形状重建编码器 DNN：我们提出并评估了一种解码器 DNN，它可以根据潜在特征重建高精度 3D 形状。该方法在3D空间和高维特征空间中生成大量的面片，并通过变形和融合这些面片来高精度地重建3D形状。当编码器 DNN 从 3D 形状到潜在特征空间中的特征向量执行自监督学习时，通常与从潜在特征空间中的特征向量到 3D 形状的解码器 DNN 配对。在这种情况下，通过使用以高精度执行3D形状重建的解码器，可以学习更准确的3D形状编码器。（研究报告1，已接受）（2）使用Transformer DNN进行3D点云分析：我们从去年开始继续研究，目的是使用Transformer获得高精度且旋转不变的3D点云形状特征。经过改进，作为以旋转不变方式分析 3D 点云的方法，与现有方法相比，我们实现了最高的准确度。（研究报告2，正在审查）（3）用于搜索的3D形状特征的无监督学习：连续且平滑的形状特征空间的无监督学习，可以获得对相似性搜索有用的形状之间的相似性。 DeepDiffusion 方法，通过扩散对通过深度学习获得的多种特征进行平滑。通过使用3D形状模型和2D图像的异构数据的多个数据集进行实验评估，我们发现所提出的方法获得的形状特征比现有方法具有更高的检索精度。（研究报告3，已接受）