Deep neural network model for anomic aphasia and the recovery process

失语症的深度神经网络模型及其恢复过程

• 批准号: 20K11860
• 负责人: 黒岩 眞吾
• 金额: $ 2.83万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11860/
• 关键词: 失語症; 語想起; 語連想; BERT; 深層学習; SHAP; 言語訓練教材; 言語訓練アプリ; 言語訓練; アプリ

(1)人の語連想の自己学習過程を模倣するニューラルネットワークとして，１語から５語を想起するネットワークと５語から１語を想起するネットワークを結合したself-supervised learningが可能な深層学習モデルの検討を行った．この構成はDeep Auto-Encoderと呼ばれる構造であるが，中間層で情報圧縮するのではなく，情報を拡張する点に特徴がある．そのため，評価関数は元の１語に戻ることに加え，中間層で出力される５語が元の１語を含まず，かつ，多様性に富んだ語となる必要があると考え，離散隔離分布を中心に様々な評価関数を検討した．また，全結合型に加え，Transformer型も検討した．実験では，教師あり学習データに『連想語頻度表』（300語）を，教師なしデータに出現頻度の高い約8000語を用いて半教師あり学習を行った．実験の結果，１語から５語の語連想では，上位５語中0.45語で人の連想に含まれる語を出力できた．一方で，５語から１語の連想の精度は低く，デコーダ側の改良が必要であることが明らかとなった．(2)これまでは公開されているBERTを用いてきたが，語連想タスクを想定したBERTの学習を試みた．これにより，１語から５語の語連想において，５語中0.41語で人の連想に含まれる語を出力できた(昨年度は0.38語)．一方で，５語から１語の語連想では各刺激語の貢献度であるシャープレイ値の改良版の検討を行うとともに，カテゴリー指定語の効果を確認した．また，語連想手法の評価を行うための語連想Webアプリの開発も行った（語想起の失語症教材としての利用も可能）．(3) 人が２つの単母音音声を聞いて同一の話者の発声であるかを判定する機構を模したDNNを単語音声に拡張した．その結果，0.3秒から1秒の単語発声で98%から99%の正解率を得た．

（1）一种能够自我监督学习的深度学习模型，结合了回忆1到5个单词的网络和回忆5个单词中的1个单词的网络，作为模仿人类单词联想的自学习过程的神经网络。我们调查了以下内容。这种配置称为深度自动编码器，其独特之处在于它扩展信息而不是在中间层压缩信息。因此，除了返回原始单词的评价函数外，我们认为中间层输出的五个单词不应该包含原始单词，并且是富含多样性的单词，我们以分布为重点研究了各种评估函数。除了全连接类型之外，我们还考虑了Transformer类型。实验中，使用“联想词频表”（300个词）作为监督学习数据，使用约8000个频繁出现的词作为无监督数据进行半监督学习。实验结果是，对于 1 到 5 个单词的单词关联，我们能够输出前 5 个单词中 0.45 个包含在人类关联中的单词。另一方面，从五个单词中关联一个单词的准确性较低，并且很明显需要在解码器方面进行改进。 (2) 到目前为止，我们一直在使用公开可用的 BERT，但我们尝试假设单词关联任务来学习 BERT。结果，对于 1 到 5 个单词的单词关联，我们能够输出 5 个单词中 0.41 个包含在人类关联中的单词（去年为 0.38 个单词）。另一方面，对于五个单词和一个单词之间的单词关联，我们研究了沙普利值的改进版本，该值衡量每个刺激单词的贡献，并确认了类别指定单词的效果。我们还开发了一个单词联想网络应用程序来评估单词联想方法（也可以用作单词回忆失语症教材）。 (3) 我们将 DNN 扩展到单词语音，它模仿一个人听两个单音声音并确定它们是否由同一说话者发出的机制。结果，我们在说出0.3秒到1秒的单词时获得了98%到99%的准确率。

项目成果

ResNet/ResNeXtによる深層話者埋め込みの検討

使用 ResNet/ResNeXt 进行深度说话人嵌入研究

• 发表时间: 2021
• 作者: 鈴木克樹;堀内靖雄;柘植覚;黒岩眞吾
• 通讯作者: 黒岩眞吾

BERTによる語連想タスクでのシャープレイ値を用いた連想根拠の提示

在使用 BERT 的单词关联任务中使用 Shapley 值呈现关联证据

• 发表时间: 2022
• 作者: 問井拓海;相馬佑哉;堀内靖雄;黒岩眞吾
• 通讯作者: 黒岩眞吾

Multiple Words to Single Word Associations Using Masked Language Models

使用屏蔽语言模型的多个单词到单个单词的关联

• DOI: 10.1109/kst57286.2023.10086780
• 发表时间: 2023
• 期刊: Proc. 2023 15th International Conference on Knowledge and Smart Technology
• 作者: Yuya Soma;Yasuo Horiuchi;Shingo Kuroiwa
• 通讯作者: Shingo Kuroiwa

Same Speaker Identification with Deep Learning and Application to Text-dependent Speaker Verification

通过深度学习识别同一说话人及其在文本相关说话人验证中的应用

• 发表时间: 2022
• 作者: Manaka Takamizawa;Satoru Tsuge;Yasuo Horiuchi;Shingo Kuroiwa
• 通讯作者: Shingo Kuroiwa

Answer Selectionにおけるトリプレットロスを用いた再学習

在答案选择中使用三元组损失重新学习

• 发表时间: 2022
• 作者: 鈴木悠真,堀内靖雄;黒岩眞吾
• 通讯作者: 黒岩眞吾