AI Driven Neural Activity Manipulation and Intelligence Engineering

人工智能驱动的神经活动操纵和智能工程

基本信息

批准号：
20J22906
负责人：
佐藤元重
金额：
$ 1.98万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J22906/
关键词：
neurofeedback brain computer interface auditory cortex local field potential machine learning explainable AI VQVAE integrated gradient 聴覚デコーディング脳機能拡張深層学習 Decoded Neurofeedback Local Field Potentials

项目摘要

脳と人工知能の融合による知能拡張研究を行った。ラットの聴覚認識能力には限界があり、人間の言語のような複雑な音認識が難しいが、聴覚皮質の脳波レベルでは深層学習を用いて言語の区別ができ、さらにラットが聞いた経験のないフレーズに対しても正しく脳波から言語を判別することに成功した。そしてこの結果を利用して、深層学習モデルの判別結果に応じて体性感覚皮質を異なるパターンでリアルタイムに刺激したところ、言語の聞き分けを学習できることが分かった。また学習成立後はフィードバック刺激をオフにしても、全く新しいフレーズを聞かせても正しく言語を聞き分けられるようになっていることも確認した。深層学習モデルが脳波のどの部分に注目して言語予測を行っていたか調べるIntegrated Gradientsの解析を行ったところ、特に学習後には、音源定位や周波数処理を担う領域で貢献度が下がり、学習やコミュニケーションに関わる領域での貢献度が上がる傾向を発見した。ラットにとって言語という概念は未知のものであるが、音の高次な情報処理を担う神経回路が言語予測にも適応して用いられた可能性を示している。加えて、深層学習がどこまで複雑な聴覚情報を解読できるか調べるため、言語の分類に用いていたネットワークよりもパラメータ数の多い予測モデルを作成した。このモデルは量子化された潜在空間を持つ音の生成モデルの潜在空間を予測する。訓練時には音声認識モデルと似た階層処理を持つように訓練するPerceptual Lossを導入した。その結果、脳波から音声スペクトログラムの再構成に成功した。この手法は、言語数やフレーズ数が上限となるクラス分類とは異なり、音の構成情報をそのまま脳波から再現することができるため、より汎用的な脳波解読及びニューロフィードバック実験に使用することができる。

我们使用大脑和人工智能的融合进行了情报扩展研究。大鼠的听觉识别能力限制了他们识别像人类语言之类的复杂声音的能力，但是在听觉皮层的脑电图水平上，深度学习可以用来区分语言，甚至对于大鼠从未听说过的短语，它们也能够正确区分语言与脑浪。使用此结果，我们发现，当我们根据深度学习模型的判别结果实时以不同的方式刺激体感皮质时，我们可以学会区分语言。还可以确定，一旦建立了学习，可以关闭反馈刺激，也可以正确听到全新的短语。当我们分析综合梯度时，该梯度检查了脑的哪些部分挥舞着深度学习模型以做出语言预测时，我们发现贡献率降低了负责声音源定位和频率处理的领域，并且在与学习和通信有关的领域中的贡献率增加。语言的概念是大鼠未知的，但它表明，负责高阶信息处理声音处理的神经回路可能已用于适应语言预测。此外，为了研究如何通过深度学习来解读复杂的听觉信息，我们创建了一个比用于分类语言的网络的预测模型。该模型可以预测具有量化潜在空间的声音生成模型的潜在空间。在培训期间，我们引入了感知损失，该损失使我们具有类似的层次处理处理与语音识别模型。结果，我们成功地从脑波重建了音频谱图。与班级分类不同，语言和短语的数量是上限，该技术可以直接从脑波中再现声音组成信息，从而可以在更通用的脑波解码和神经反馈实验中使用它。