Self-supervised feature construction methods for multi-modal neuroimaging data

多模态神经影像数据的自监督特征构建方法

• 批准号: 21H03516
• 负责人: 川鍋 一晃
• 金额: $ 11.07万
• 依托单位: Advanced Telecommunications Research Institute International
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03516/
• 关键词: 人間情報学; マルチモーダル脳イメージング; 自己教師あり学習; 転移学習; 脳活動ダイナミクス

教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題 に取り組んだ。第一に、異なる被験者やセッションなど、脳波データの課題であるドメイン間差を較正するため、脳情報転移学習法TSMNetを開発した。この手法は、深層学習と幾何学的アプローチを融合し、共分散行列特徴量の空間での幾何学的バッチ正則化を組み込むことで、教師情報なしにドメイン適応を行う。実際に、複数の脳波ブレイン・コンピュータ・インタフェース公開データの被験者間転移設定において、TSMNetが深層学習や幾何学的アプローチ単体の従来法を有意に改善することを示した。本成果論文は機械学習のトップ会議NeurIPS2022に採択された。また、TSMNetと自己教師あり学習法TCLとの統合可能性を検討した。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築モジュールを組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案した。その評価のために、ScanReferをベースにScanQAデータセットを構築し、提案手法の3次元質問応答のパフォーマンスが従来法を改善することを示した。本成果論文はコンピュータビジョンのトップ会議CVPR2022に採択された。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、fMRIデータに対する自己教師あり学習について、当初計画のSCLと、最近発表された、大規模データに基づくBERTベースの学習済モデル(Thomas et al., 2023)を比較検討した。その結果、後者の方が有望であることがわかったので、今後はこのアプローチに従って実装を進める計画である。

今年，我们解决了以下三个问题，旨在开发一种使用自监督学习的特征构建方法，该方法对教师标签很少的多模态脑成像数据有效。首先，我们开发了一种大脑信息迁移学习方法 TSMNet，用于校准脑电图数据的域间差异，例如不同主题和会话。该方法结合了深度学习和几何方法，通过在协方差矩阵特征空间中结合几何批量正则化来执行域自适应，而无需监督信息。事实上，我们表明，在多个脑电图脑机接口公共数据的主体间传输设置中，TSMNet 显着改进了单独使用深度学习或几何方法的传统方法。这篇论文被顶级机器学习会议 NeurIPS2022 接受。我们还研究了将 TSMNet 与自监督学习方法 TCL 集成的可能性。其次，作为整合 fMRI 等 3D 数据和 EEG 等时间序列数据的方法，我们使用了深度网络架构 ScanQA 模型，该模型结合了各自建议的自监督学习特征构建模块。对于本次评估，我们基于 ScanRefer 构建了 ScanQA 数据集，并表明所提出的方法的 3D 问答性能比传统方法有所提高。该论文被计算机视觉顶级会议CVPR2022接收。未来，我们将考虑将该方法应用于多模态脑成像数据。第三，关于功能磁共振成像数据的自监督学习，我们将最初计划的 SCL 和最近宣布的基于大规模数据的基于 BERT 的训练模型进行了比较（Thomas et al., 2023）。结果我们发现后者更有前景，我们计划未来按照这种方式进行实施。

项目成果

ScanQA: 3D Question Answering for Spatial Scene Understanding

ScanQA：用于空间场景理解的 3D 问答

• DOI: 10.1109/cvpr52688.2022.01854
• 发表时间: 2021-12-20
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Daich Azuma;Taiki Miyanishi;Shuhei Kurita;M. Kawanabe
• 通讯作者: M. Kawanabe

SPD domain-specific batch normalization to crack interpretable unsupervised domain adaptation in EEG

SPD 域特定批量归一化破解脑电图可解释的无监督域适应

• DOI: 10.48550/arxiv.2206.01323
• 发表时间: 2022-06-02
• 期刊: ArXiv
• 作者: Reinmar J. Kobler;J. Hirayama;Qibin Zhao;M. Kawanabe
• 通讯作者: M. Kawanabe

Neural dSCA: demixing multimodal interaction among brain areas during naturalistic experiments

神经 dSCA：自然实验期间大脑区域之间的多模态相互作用的分层

• DOI: 10.1007/978-981-15-2957-3_1
• 发表时间: 2021-06-05
• 期刊: ArXiv
• 作者: Yu Takagi;L. Hunt;Ryu Ohata;H. Imamizu;J. Hirayama
• 通讯作者: J. Hirayama

University of Oxford(英国)

牛津大学（英国）

SPD domain-specific batch normalization to crack interpretable unsupervised domain adaptation in EEG

SPD 域特定批量归一化破解脑电图可解释的无监督域适应

• 发表时间: 2022
• 作者: Kobler; R.; Hirayama; J.; Zhao; Q.; Kawanabe; M.
• 通讯作者: M.