言語情報のneural decodingによる意思伝達支援システムの開発

使用语言信息的神经解码开发通信支持系统

基本信息

批准号：
18J14871
负责人：
渡部宏樹
金额：
$ 1.09万
依托单位：
Nara Institute of Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2020-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J14871/
关键词：
脳情報デコーディング脳波機械学習

项目摘要

本研究は、音声言語処理時の脳波と音声リズム間の位相が一致する位相同期現象に着目して、音声聴取・発話想像時の脳波からその音声を識別することを目的とした。そのために、音声発話文を聴取時の脳波から聴取した発話文を予測する機械学習モデルの構築を実施した（実験１）。また、体動を必要としない音声コミュニケーション手段として応用することを想定し、実験1と同様の手法で、発話想像時の脳波から想像した発話内容を予測できるかどうかを検証した（実験2）。具体的には、(a) 発話想像時の脳波振動が想像音声のリズムパターンと位相同期するかどうか、 (b) 発話想像時の脳波からどれほど正確に発話想像音声を識別できるかどうかを検証した。実験1では、日本語の発話音声文（3種類）聴取時の脳波からどの音声文を聴取していたかを機械学習モデルを用いて予測した。その結果、2-50 Hz周波数帯の位相情報を特徴量として訓練したテンプレートマッチングが最高識別正解率55.9%を示し、従来手法より有意な改善となった。また、leave-one-subject-out交差検証法によって、この識別手法が異なるユーザーへの汎化性能を有することを明らかにした。実験2では、3種類のリズムが異なる無意味文（「バーバーバババ」等）の発話想像時の脳波を計測した。発話想像音声は観測不可だが、発話音声と発話想像音声は音響特徴が類似するため、音声発話課題時の発話音声を発話想像音声として扱った。発話想像時の脳波から発話音声の音声包絡を回帰した結果、統計的有意な相関係数が得られ、発話想像時の脳波と発話想像音声のリズムが一致することが示唆された。また、テンプレートマッチングにより、発話想像時の脳波から想像した無意味文を予測した結果、識別正解率は有意にチャンスレベル（33.3%）を上回り、発話想像時の位相同期現象を用いた発話想像文識別の有用性を示した。

本研究关注口语处理过程中脑电波相位与语音节奏匹配的相位同步现象，旨在从聆听和想象语音时的脑电波中识别语音。为此，我们构建了一个机器学习模型，通过听话语时的脑电波来预测听到的话语（实验1）。此外，假设该系统将被用作不需要身体动作的语音通信手段，我们使用与实验1相同的方法来验证在想象时的脑电波是否可以预测想象的话语的内容。话语（实验2）。具体来说，我们验证了（a）想象语音期间的脑电波振动是否与想象语音的节奏模式相位同步，以及（b）如何准确地从想象语音期间的脑电波识别想象的语音。在实验1中，我们使用机器学习模型，根据受试者在听三种类型的日语口语句子时的脑电波来预测他们正在听哪些语音句子。结果，以2-50 Hz频段的相位信息为特征训练的模板匹配显示出最高的识别准确率，达到55.9%，比传统方法有显着提高。此外，通过使用留一主题交叉验证方法，我们证明了这种识别方法对不同用户具有普适性。在实验2中，在想象以三种不同节奏（例如“ba-ba-ba-ba-ba-ba”）说出无意义句子时测量脑电波。虽然想象的语音无法被观察到，但口语语音和想象的语音具有相似的声学特征，因此发声任务期间的语音被视为想象的语音。通过从想象的话语期间的脑电波对口语的音频包络进行回归，获得了统计上显着的相关系数，这表明想象的话语期间的脑电波的节律与想象的话语的节律相匹配。此外，通过模板匹配，我们预测了言语想象时从脑电波想象出的无意义句子，识别准确率显着超过了机会水平（33.3％），证明了识别的有用性。