Part-based 3D shape retrieval using multi-modal query

使用多模态查询进行基于零件的 3D 形状检索

基本信息

批准号：
21K11903
负责人：
大渕竜太郎
金额：
$ 2.66万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11903/
关键词：
3次元点群解析 3次元点群形状再構成 3次元形状類似検索自己教師あり学習 3次元点群トランスフォーマー深層学習 3次元形状検索トランスフォーマー拡散距離教師無し学習部分3D形状検索マルチメディア検索 3D形状比較マルチモーダルクエリ機械学習

项目摘要

本年度は，昨年度に引き続き，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の3つのアプローチから研究を行った．(1)３D点群形状再構成エンコーダDNN：潜在特徴から高精度な3D形状を再構成するデコーダDNNを提案し評価した．提案した手法は，3D空間および高次元の特徴空間において多数のパッチを生成し，これらパッチを変形して融合することで3D形状を高精度に再構成する．3D形状から潜在特徴空間の特徴ベクトルへのエンコーダDNNを自己教師あり学習する場合，しばしば，これを潜在特徴空間の特徴ベクトルから3D形状へのデコーダDNNと対にして学習を行う．その場合，高精度に３D形状再構成を行うデコーダを用いることで，より高精度な3D形状エンコーダの学習が可能となる．（研究発表1，採録）(2) トランスフォーマDNNによる3D点群解析：トランスフォーマによる高精度かつ回転不変な3D点群形状特徴取得をめざし，昨年度に引き続き研究を行った．改良を加えた結果，回転不変に3D点群を解析する手法としては既存手法と比較して最高の精度を達成した．（研究発表2，査読中）(3) 検索向けの3D形状特徴教師無し学習：類似検索に有用な形状間類似度を得られるような，連続かつなめらかな形状特徴空間を教師無しで学習することを目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを行うDeepDiffusion法を提案し評価した．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった．（研究発表3，採録）

This year, following last year, we conducted research on the analysis of 3D shapes, which are the basis for 3D shape searches, and methods for acquiring 3D shape features, using the following three approaches: (1) 3D point cloud shape reconstruction encoder DNN: We proposed and evaluated a decoder DNN that reconstructs high-precision 3D shapes based on latent features.所提出的方法在3D空间和高维特征空间中生成了大量的斑块，并通过转换这些斑块并将其融合，以高精度重建了3D形状。当从3D形状到潜在特征空间中的特征向量的编码器DNN的自我监督学习时，通常可以通过将其与从潜在特征空间中的特征向量配对的解码器DNN与3D形状进行学习。在这种情况下，通过使用高精度执行3D形状重建的解码器，可以更准确地学习3D形状编码器。（研究表现1，接受）（2）使用变压器DNN的3D点云分析：我们从去年开始进行研究，目的是使用变压器获得高度准确，旋转不变的3D点云形状。由于改进的结果，与现有的分析3D点云的方法相比，我们达到了最高的精度，而不改变旋转。（研究演示文稿2，同行评审）（3）3D形状的特征无监督的学习学习：我们提出并评估了一种深水扩散方法，该方法使用扩散来平滑通过深度学习获得的特征的特征歧管，旨在学习连续且平稳的形状空间而无需监督，可以获得对类似搜索的形状之间的相似性。我们使用多个数据集对3D形状模型和2D图像的异质数据进行了实验评估，发现使用建议方法获得的形状特征比现有方法具有更高的搜索精度。（研究演讲3，收集）