モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断

使用模态张力网使用多模态情感数据进行抑郁症诊断

基本信息

批准号：
22K21316
负责人：
劉家慶
金额：
$ 1.83万
依托单位：
Ritsumeikan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2022
资助国家：
日本
起止时间：
2022-08-31 至 2024-03-31
项目状态：
已结题

项目摘要

2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。(1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード（関節点）方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing（IF: 5.7）で発表した。(2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。

2022 财年，我们获得了以下研究成果，旨在利用模态张力网使用多模态情感数据诊断抑郁症。（1）步行是人类的基本动作之一，也可以看作是表达个体特征和情感的运动。由于要注意的步行动作根据人的情绪而不同，因此每个关节点的重要性也不同。为了自动关注每种情感的重要关节点和特征，我们提出了一种双重注意力时空图卷积网络，该网络分别在节点（关节点）方向和通道方向引入注意力机制，从而实现了高精度。对特征应用较大的权重。研究结果发表在《图像电子工程师学会杂志》上。我们还提出了多头伪节点来缓解感受野不平衡问题并捕获关节之间的非局部依赖性。附加节点用于链接所有人体关节并从不同特征空间获取全局信息。结果发表在神经计算上（IF：5.7）。 (2) 我们开发了一种使用 MLP 和 Transformer 融合多模态信息的方法。该成果在媒体领域顶级国际会议ACM MM 2022和IEEE GCCE 2022上发表。

项目成果

期刊论文数量（12）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

A Module Selection-based Approach for Efficient Skeleton Human Action Recognition

基于模块选择的高效骨骼人体动作识别方法

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Shurong Chai;Rahul Kumar Jain;Jiaqing Liu;Tomoko Tateyama;Yinhao Li;Yen-Wei Chen
通讯作者：
Yen-Wei Chen

A Spatial-Temporal Graph Convolutional Networks-based Approach for the OpenPack Challenge 2022

DOI：
10.1109/percomworkshops56833.2023.10150404
发表时间：
2023-03
期刊：
2023 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops)
影响因子：
0
作者：
Shurong Chai;Jiaqing Liu;R. Jain;Yinhao Li;T. Tateyama;Yen-Wei Chen
通讯作者：
Shurong Chai;Jiaqing Liu;R. Jain;Yinhao Li;T. Tateyama;Yen-Wei Chen

Multimodal Deep Learning in Healthcare

医疗保健中的多模态深度学习