音声想起の脳波解析に基づく発話支援の基礎研究

基于语音回忆脑电波分析的语音支持基础研究

基本信息

批准号：
22K18626
负责人：
滝口哲也
金额：
$ 3.91万
依托单位：
Kobe University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K18626/
关键词：
ブレインマシンインターフェース

项目摘要

本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別に関する手法について探索研究を行う．まずR4年度では，より高精度に非侵襲な脳活動計測が可能な脳磁界計測による想起音声識別を行った．具体的には，さまざまなBCI（ブレイン・コンピュータ・インターフェース）タスクに適用可能な畳み込みニューラルネットワークであるEEGNetを用いた手法を検討した．EEGNetは神経生理学的信号から解釈可能な抽象的特徴を抽出するだけでなく，少ないデータセットで信頼性の高いモデルを構築することが期待できる．EEGNetは入力をRawデータとし，時間方向の畳み込み，Depthwise畳み込み，Separable 畳み込みからなるネットワークである．まず時間方向の畳み込みにより周波数フィルタを学習し，Depthwise畳み込みで各特徴マップに個別に周波数に応じた空間フィルタを学習する．最後のSeparable畳み込みにより，各特徴マップを時間方向に個別に学習する畳み込みと，特徴マップを最適に加算する畳み込みを行う．また，BCIの識別モデルのサイズが大きくなる程，学習すべきハイパーパラメータが増え，モデル性能のばらつきが大きくなる可能性がある．EEGNetでは，Depthwise畳み込みやSeparable畳み込みを取り入れることにより，パラメータ数を通常の畳み込みに対して減らすことができ，オーバーフィッティングを起こしにくいモデルとなると考えられている．R4年度では実際に計測した脳磁界データによる音声想起の識別実験を行い，EEGNetが同タスクにおいて適用可能であることを示した．

在这个研究主题中，我们通过回忆脑中的语音来衡量大脑活动，并将对识别语音回忆中大脑活动模式的方法进行探索研究。首先，在2014财年，我们使用磁场测量值进行了召回语音识别，该测量值允许更准确，非侵入性的脑活动测量。具体而言，我们研究了一种使用EEGNET的方法，EEGNET是一个可以应用于各种BCI（大脑计算机接口）任务的卷积神经网络。 EEGNET不仅从神经生理信号中提取了可解释的抽象特征，而且还可以预期在很少的数据集的情况下构建可靠的模型。 EEGNET是一个由时间方向卷积，深度卷积和可分离卷积组成的网络，并将输入作为原始数据。首先，通过卷积在时间方向上学习频率滤波器，并使用深度卷积分别学习每个特征映射的频率滤波器。最终可分开的卷积涉及在时间方向上分别训练每个特征图，以及用于最佳添加特征图的卷积。此外，BCI识别模型的尺寸越大，要学习的超参数越多，并且模型性能的变化越大。通过融合深度和可分离的卷积，EEGNET被认为是与正常卷积相比减少参数数量的模型，从而降低了过度拟合的可能性。在2014财年，我们进行了一项实验，使用实际测量的脑磁场数据识别语音回忆，表明EEGNET适用于同一任务。