Development of emotion recognition system by transfer learning for various speeches

通过各种语音的迁移学习开发情感识别系统

• 批准号: 22K12087
• 负责人: 小坂 哲夫
• 金额: $ 2.58万
• 依托单位: Yamagata University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12087/
• 关键词: 音声感情認識; 深層学習; 感情音声コーパス; 言語モデル適応; 音声認識; 転移学習

本年度は音声感情認識に関し以下の２点について検討した．1.言語的特徴および音響的特徴による感情認識の結果統合2.OGVC(オンラインゲームチャットコーパス)を対象とした音声認識1.について，従来我々は音声認識結果を深層学習モデルの一種であるBERTに入力し感情を認識する言語特徴を用いた方法と，音響特徴から時系列や統計量を用いて認識する２種類の出力を重み付き統合する方法を検討してきた．今回は２種類の特徴をディープニューラルネットワークで統合する方法を検討し，より高い性能を得ることができた．システムの概要としては，言語的特徴抽出のため，まず感情音声の音声認識を行い得られた誤りを含む音声認識結果を用いBERTで感情認識を行い4種類の感情に対する事後確率を得る．一方音響的特徴については，発話全体から各種特徴の統計量を得て認識する手法と，LSTMやGRUなどの時系列を表現できる深層学習モデルを用いて感情認識を行い，同様に事後確率を得る．その両者を統合してDNNに入力し最終的な認識結果を得る．日本語感情コーパスJTESを対象に評価を行った結果，4感情の識別タスクにおいて従来法では80.25%であったが提案法では82.25%を得ることができた．2.についてOGVCを対象に音声認識の検討を行い言語モデル適応が有効であることを示した．音響モデルにはJTESで適応したモデルを使用し，言語モデルはツイート文に適応したモデル，OGVCに適応したモデル，更にはツイート適応モデルを更にOGVCで適応したモデルの３種類を比較した．この結果いずれの方法も性能向上が得られることが分かったが，特にツイート適応が有効であることが分かった．

今年，我们讨论了以下有关语音情感识别的两点。 1。使用语言和声学特征的情感识别结果2。针对OGVC（在线游戏聊天语料库）的语音识别1。过去，我们使用语言特征研究了一种方法，该方法将语音识别结果输入到BERT，一种深度学习模型，以及一种使用时间序列和统计信息通过声学特征识别的两种输出的加权方法。这次，我们研究了一种使用深神经网络整合两种特征的方法，并能够获得更高的性能。为了总结系统，为了提取语言特征，首先，认识到情感声音的语音识别，并使用伯特（Bert）识别情感，并获得了四种类型的情感的后验概率。另一方面，对于声学特征，使用一种从整个话语中获取各种特征并识别它们的统计的方法进行情感识别，并使用可以表达时间序列的深度学习模型，例如LSTM和GRU，以相同的方式获得后验概率。将这两个组合在一起并输入到DNN中，以获得最终的识别结果。由于对日本情感语料库的评估，对于四个情绪识别任务的常规方法为80.25％，但所提出的方法为82.25％。关于2。，我们调查了OGVC的语音识别，并表明语言模型适应是有效的。我们比较了三种类型的声学模型：适合推文语句的模型，适合OGVC的模型以及使用OGVC进一步适应推文适应模型的模型。该结果表明，两种方法都提供了提高的性能，但是推文适应性特别有效。

项目成果

深層学習モデルを用いた言語特徴と音響特徴の後期融合による音声感情認識

使用深度学习模型通过后期融合语言特征和声学特征进行语音情感识别

• 发表时间: 2023
• 作者: Daiki Akiyama;Tomio Goto;杉尾達也，小篠裕子;岡田純京，小篠裕子;城所悠太，新田直子，中村和晃，馬場口登;佐藤清秀，岸恵太，小坂哲夫
• 通讯作者: 佐藤清秀，岸恵太，小坂哲夫