One-shot self-supervised learning for high quality 3D shape scanning

用于高质量 3D 形状扫描的一次性自我监督学习

• 批准号: 22K17907
• 负责人: 谷田川 達也
• 金额: $ 2.91万
• 依托单位: Hitotsubashi University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17907/
• 关键词: 三次元形状処理; 三次元スキャン; 機械学習; 自己教師付き学習; 単一ショット学習; 深層学習; 幾何形状処理

令和4年度 (以下、本年度)は、① X線CT装置による三次元ボリューム取得手法の改善、ならびに②光学式の3Dスキャナ等で取得された表面メッシュデータから後処理によってノイズを除去するための機械学習法について研究を実施した。X線CT装置による三次元形状データの取得においては、少数投影像から大規模な三次元CT像を効率的に再構成する深層学習手法を開発した。提案法は、三次元CTボリューム内の短い棒状領域を、その領域が検出器に投影された際の軌跡上にある画素の強度を用いて再構成する。これにより、三次元ボリュームを一度に再構成する必要がなくなり、ニューラルネットが使用するメモリ量を大幅に削減できる。本手法は、単一のCT画像を得るのに必要な1000枚程度の投影像のみから抽出したトレーニングデータだけを用いて、人工的な実験データと実データの両方に対して効果的に動作することが示された。これに加え、X線CT画像のコントラスト低下の一因であるX線の散乱を半教師付き学習により補正する技術も合わせて研究した。本手法は、半教師付き学習法でありながらも、散乱除去機構を持つCT装置による撮像を一度行えば、学習に十分な訓練データを得ることができ、高品質CT画像取得に大きく寄与することが期待される。また、表面メッシュのノイズの除去に関する研究では、本研究の目的とする、単一の入力からの自己教師付き学習によるノイズ除去手法を提案した。提案法では、頂点位置と面法線の両者からノイズを除去するための二つのグラフ畳み込みネットワークを同期的に学習させることで、特に機械部品などに多く見られる、エッジやコーナーの形状を正確に復元することに成功している。本研究課題の目的通り、この成果では、不完全な入力のみから表面形状を高品質化していながら、従来の学習データを大量に必要とする深層学習法に迫る性能を得ることに成功している。

在第四年（以下称为今年），（1）通过X -ray CT设备改善三维量量采集方法，②以从3D获得的表面网格数据中删除噪声，以消除噪声光学类型的扫描仪。在使用X射线CT设备的三维形式的数据中获取时，已经开发了一种深度学习方法，以有效地从小型成像图像中有效地重建大型三维CT雕像。当该区域投射到检测器中时，该提案是使用像素的强度重建的。这消除了一次重建三维体积的需求，并显着减少神经网络使用的记忆量。该方法仅使用从获得单个CT图像所需的大约1000张图像中提取的训练数据有效地用于人工实验数据。此外，我们还研究了校正X射线散射的技术，这是通过半教学学习的X射线CT图像对比的原因。该方法是一种具有半教学教师的学习方法，但是一旦具有散射机制的CT设备具有散射机制，就有可能获得足够的训练数据，并有助于获得高质量的CT图像。此外，提出了从单个输入中学习自学的研究，从而提出了消除表面网格噪声的研究。在提案中，两个图形折叠网络从顶部位置和表面线中删除噪声，尤其是在机械零件中，等等。作为这项研究任务的目的，这一成就成功地获得了需要大量常规学习数据的深度学习方法的表现，而高质量的表面形状则高于不完整的输入。

项目成果

Learning Self-prior for Mesh Denoising Using Dual Graph Convolutional Networks

• DOI: 10.1007/978-3-031-20062-5_21
• 发表时间: 2022
• 期刊: Materials Research Express
• 影响因子: 2.3
• 作者: Shota Hattori;Tatsuya Yatagawa;Y. Ohtake;H. Suzuki

エネルギー最小化関数の解析的な勾配計算を用いた深層点対面点群整列法

利用能量最小化函数解析梯度计算的深度点对面点群对齐方法

• 发表时间: 2022
• 作者: 谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正

ニューラルFDK法: ニューラルネットによる棒状領域ごと少数投影像からのコーンビームCT再構成

神经 FDK 方法：使用神经网络根据每个棒状区域的少量投影图像进行锥束 CT 重建

ガウス混合分布に基づく深層点群位置合わせ法の改善に向けたアテンションおよびマスク機構の検討

基于高斯混合分布的改进深度点云配准方法的注意力和掩模机制研究

• 发表时间: 2022
• 作者: 吉川 瑞紀;谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正

デュアルグラフ畳み込みネットワークを用いた自己教師あり学習によるメッシュノイズ除去法

使用双图卷积网络的自监督学习的网格噪声去除方法

• 发表时间: 2022
• 作者: 服部 翔太;谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正