ヒト脳内知覚動画再構成技術の開発

人脑感知视频重建技术的发展

基本信息

批准号：
22KJ1801
负责人：
白川健
金额：
$ 1.09万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題では，脳情報を解読する技術を拡張することによって，　動的な視知覚情報を外在化する手法を開発することを目指している．　今年度は，　事前の計画通り、動画知覚時の脳活動パターンから，　動画認識に使用される深層学習モデルの中間層の活動値を予測し，　予測された特徴量から知覚された動画を再構成する手法を確立した．具体的には，動画を空間成分と時間成分 (運動成分) に分解して考えた．空間成分の再構成には，既存の脳活動から画像再構成モデル (Shen et al., 2019) を使用した．運動成分の再構成には，運動を認識する深層ニューラルネットワーク (Mineault et al., 2021) の特徴量を脳活動から予測した．そして，潜在空間が滑らかな画像生成モデル (Sauer et al., 2022) の潜在特徴量から生成される動画の特徴量と脳活動から予測された特徴量に近づくように潜在特徴量を最適化することで動画を生成する手法を開発した．また，　手法の有効性を判定するために，動画提示時の脳活動を計測した．　インターネット上から自然な動画を多数収集した (550動画) . これらの動画刺激を１名の被験者に提示し，その時の脳活動をfMRIで計測，機械学習の手法で解析することで，脳計測データから知覚された動画を再構成することが可能かを調べた．　再構成された動画は，知覚された動画における物体の時空間の位置や，滑らかな運動が反映されていることを定性的，定量的に確認した．これらの結果から，提案した手法により脳活動から知覚された動画の運動情報を反映した再構成が可能であることが示唆された．

在这个研究项目中，我们的目标是通过扩展大脑信息解码技术来开发一种外化动态视觉感知信息的方法。今年，按照提前计划，我们将从视频感知过程中的大脑活动模式来预测用于视频识别的深度学习模型的中间层的活动值，并根据预测的特征重建感知的视频。一种方法来做到这一点。具体来说，我们将视频分解为空间分量和时间分量（运动分量）。为了重建空间成分，我们使用了基于现有大脑活动的图像重建模型（Shen et al., 2019）。为了重建运动成分，我们预测了根据大脑活动识别运动的深度神经网络的特征（Mineault 等人，2021）。然后，对潜在特征进行优化，使其接近根据视频特征和大脑活动预测的特征，这些特征是由具有平滑潜在空间的图像生成模型的潜在特征生成的（Sauer 等人，2022）。使用此方法生成视频。此外，为了确定该方法的有效性，我们测量了视频演示期间的大脑活动。我们从互联网上收集了大量的自然视频（550 个视频），通过向一名受试者呈现这些视频刺激，使用功能磁共振成像测量当时的大脑活动，并使用机器学习技术对其进行分析，我们生成了大脑测量数据。研究了是否可以重建从感知到的视频。我们定性和定量地证实，重建的视频反映了感知视频中物体的时空位置和平滑运动。这些结果表明，所提出的方法能够实现反映从大脑活动感知的视频运动信息的重建。