Deep neural network model for anomic aphasia and the recovery process

失语症的深度神经网络模型及其恢复过程

• 批准号: 20K11860
• 负责人: 黒岩 眞吾
• 金额: $ 2.83万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11860/
• 关键词: 失語症; 語想起; 語連想; BERT; 深層学習; SHAP; 言語訓練教材; 言語訓練アプリ; 言語訓練; アプリ

(1)人の語連想の自己学習過程を模倣するニューラルネットワークとして，１語から５語を想起するネットワークと５語から１語を想起するネットワークを結合したself-supervised learningが可能な深層学習モデルの検討を行った．この構成はDeep Auto-Encoderと呼ばれる構造であるが，中間層で情報圧縮するのではなく，情報を拡張する点に特徴がある．そのため，評価関数は元の１語に戻ることに加え，中間層で出力される５語が元の１語を含まず，かつ，多様性に富んだ語となる必要があると考え，離散隔離分布を中心に様々な評価関数を検討した．また，全結合型に加え，Transformer型も検討した．実験では，教師あり学習データに『連想語頻度表』（300語）を，教師なしデータに出現頻度の高い約8000語を用いて半教師あり学習を行った．実験の結果，１語から５語の語連想では，上位５語中0.45語で人の連想に含まれる語を出力できた．一方で，５語から１語の連想の精度は低く，デコーダ側の改良が必要であることが明らかとなった．(2)これまでは公開されているBERTを用いてきたが，語連想タスクを想定したBERTの学習を試みた．これにより，１語から５語の語連想において，５語中0.41語で人の連想に含まれる語を出力できた(昨年度は0.38語)．一方で，５語から１語の語連想では各刺激語の貢献度であるシャープレイ値の改良版の検討を行うとともに，カテゴリー指定語の効果を確認した．また，語連想手法の評価を行うための語連想Webアプリの開発も行った（語想起の失語症教材としての利用も可能）．(3) 人が２つの単母音音声を聞いて同一の話者の発声であるかを判定する機構を模したDNNを単語音声に拡張した．その結果，0.3秒から1秒の単語発声で98%から99%の正解率を得た．

（1）我们调查了一个深度学习模型，该模型允许进行自学的学习，该模型结合了一个回忆1到五个单词的网络和一个回想五到一个单词的网络，作为一个模仿人类单词关联过程的神经网络。该结构称为深度自动编码器，但其特征是它扩展了信息，而不是在中间层中压缩信息。因此，除了返回原始单词之外，我们还认为中间层中输出的五个单词不必包含原始单词并具有丰富的多样性，并且我们检查了各种评估功能，重点是离散的隔离分布。除了完全连接的类型外，我们还检查了变压器类型。在实验中，使用“关联单词频率表”（300个单词）进行半监督学习，以进行监督的学习数据，并在无监督的数据中经常出现大约8,000个单词。该实验表明，就1到5之间的单词关联而言，前五个单词中的0.45个能够输出人类关联中包含的单词。另一方面，已经揭示了五到一个单词之间的关联较低，并且必须在解码器方面进行改进。 （2）我们已经使用了公开可用的BERT，但是我们试图根据单词关联任务的假设来研究BERT。这使我们能够以单词关联（去年0.38个单词）为单词中的人类关联中包含的单词。另一方面，对于五到一个单词的关联，我们检查了夏普雷值的改进版本，这是每个刺激单词的贡献，并确认了类别指定单词的效果。我们还开发了一个单词关联Web应用程序来评估单词关联技术（也可以用作单词回忆的失语性教学材料）。 （3）DNN模仿了一个人听到两种单摩托声音的机制，并确定该人是否在说同一扬声器，并将其扩展到单词声音。结果，我们获得了0.3至1秒的词汇的98％至99％的正确答案。

项目成果

ResNet/ResNeXtによる深層話者埋め込みの検討

使用 ResNet/ResNeXt 进行深度说话人嵌入研究

• 发表时间: 2021
• 作者: 鈴木克樹;堀内靖雄;柘植覚;黒岩眞吾
• 通讯作者: 黒岩眞吾

BERTによる語連想タスクでのシャープレイ値を用いた連想根拠の提示

在使用 BERT 的单词关联任务中使用 Shapley 值呈现关联证据

• 发表时间: 2022
• 作者: 問井拓海;相馬佑哉;堀内靖雄;黒岩眞吾
• 通讯作者: 黒岩眞吾

Multiple Words to Single Word Associations Using Masked Language Models

使用屏蔽语言模型的多个单词到单个单词的关联

• DOI: 10.1109/kst57286.2023.10086780
• 发表时间: 2023
• 期刊: Proc. 2023 15th International Conference on Knowledge and Smart Technology
• 作者: Yuya Soma;Yasuo Horiuchi;Shingo Kuroiwa
• 通讯作者: Shingo Kuroiwa

Same Speaker Identification with Deep Learning and Application to Text-dependent Speaker Verification

通过深度学习识别同一说话人及其在文本相关说话人验证中的应用

• 发表时间: 2022
• 作者: Manaka Takamizawa;Satoru Tsuge;Yasuo Horiuchi;Shingo Kuroiwa
• 通讯作者: Shingo Kuroiwa

Answer Selectionにおけるトリプレットロスを用いた再学習

在答案选择中使用三元组损失重新学习

• 发表时间: 2022
• 作者: 鈴木悠真,堀内靖雄;黒岩眞吾
• 通讯作者: 黒岩眞吾