AI Driven Neural Activity Manipulation and Intelligence Engineering

人工智能驱动的神经活动操纵和智能工程

基本信息

批准号：
20J22906
负责人：
佐藤元重
金额：
$ 1.98万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J22906/
关键词：
neurofeedback brain computer interface auditory cortex local field potential machine learning explainable AI VQVAE integrated gradient 聴覚デコーディング脳機能拡張深層学習 Decoded Neurofeedback Local Field Potentials

项目摘要

脳と人工知能の融合による知能拡張研究を行った。ラットの聴覚認識能力には限界があり、人間の言語のような複雑な音認識が難しいが、聴覚皮質の脳波レベルでは深層学習を用いて言語の区別ができ、さらにラットが聞いた経験のないフレーズに対しても正しく脳波から言語を判別することに成功した。そしてこの結果を利用して、深層学習モデルの判別結果に応じて体性感覚皮質を異なるパターンでリアルタイムに刺激したところ、言語の聞き分けを学習できることが分かった。また学習成立後はフィードバック刺激をオフにしても、全く新しいフレーズを聞かせても正しく言語を聞き分けられるようになっていることも確認した。深層学習モデルが脳波のどの部分に注目して言語予測を行っていたか調べるIntegrated Gradientsの解析を行ったところ、特に学習後には、音源定位や周波数処理を担う領域で貢献度が下がり、学習やコミュニケーションに関わる領域での貢献度が上がる傾向を発見した。ラットにとって言語という概念は未知のものであるが、音の高次な情報処理を担う神経回路が言語予測にも適応して用いられた可能性を示している。加えて、深層学習がどこまで複雑な聴覚情報を解読できるか調べるため、言語の分類に用いていたネットワークよりもパラメータ数の多い予測モデルを作成した。このモデルは量子化された潜在空間を持つ音の生成モデルの潜在空間を予測する。訓練時には音声認識モデルと似た階層処理を持つように訓練するPerceptual Lossを導入した。その結果、脳波から音声スペクトログラムの再構成に成功した。この手法は、言語数やフレーズ数が上限となるクラス分類とは異なり、音の構成情報をそのまま脳波から再現することができるため、より汎用的な脳波解読及びニューロフィードバック実験に使用することができる。

通过大脑与人工智能的融合进行智能扩展研究。老鼠的听觉识别能力有限，使得它们很难识别人类语言等复杂的声音，但在听觉皮层的脑电波水平上，它们能够利用深度学习来区分语言，并且还可以区分他们成功地从脑电波中正确确定了短语的语言。利用这些结果，根据深度学习模型的辨别结果，实时刺激不同模式的体感皮层，发现可以学习区分语言。我们还证实，学习后，即使关闭反馈刺激并向他们呈现全新的短语，他们也能够正确地区分语言。当我们进行综合梯度分析来检查深度学习模型在进行语言预测时关注脑电波的哪一部分时，我们发现，特别是在学习之后，负责声源定位和频率处理的区域的贡献程度下降，发现负责声源定位和频率处理的区域的贡献度下降，导致学习和交流变得困难我们发现与相关区域的贡献度有增加的趋势。尽管老鼠不知道语言的概念，但这一发现表明，负责声音高级信息处理的神经回路可能会被调整并用于语言预测。此外，为了研究深度学习能够在多大程度上解码复杂的听觉信息，他们创建了一个比用于语言分类的网络具有更多参数的预测模型。该模型使用量化的潜在空间来预测声音产生模型的潜在空间。在训练过程中，我们引入了感知损失，它训练模型具有类似于语音识别模型的分层处理。结果，他们成功地从脑电波中重建了语音频谱图。与以语言或短语数量为上限的类别分类不同，该方法可以直接从脑电波再现声音结构信息，因此可以用于更通用的脑电波解码和神经反馈实验。