音声における感情情報の記述・分類と感情音声認識・合成

语音中情感信息的描述与分类及情感语音识别与合成

基本信息

批准号：
09750435
负责人：
森島繁生
金额：
$ 1.86万
依托单位：
Seikei University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

项目摘要

音声に含まれるノンバーバル情報のうち感情の特徴に着目して、無感情の音声に感情を付加する感情音声合成、さらに感情を込めて発話された音声を分析して感情のカテゴライズを行う感情音声認識を目的に研究を進めた。まず音声に含まれる感情特徴パラメータの決定のため、ピッチ、パワー、時間構造、アクセントを任意に変化させて、韻律変換できるツールを完成させた。このツールを用いて各パラメータを試行錯誤で変化させて、無感情で発話された音声に対して、喜び、怒り悲しみの感情をそれぞれ付加して、センテンスによらず、話者によらず感情音声合成が可能となった。次にピッチ、パワー、発話速度をパラメータとして音声を上記の3つの感情カテゴリーに分類するシステムを構築した。ピッチ抽出はケプストラムに基づき、また発話速度は分析フレーム間のスペクトル距離に基づいて独自の抽出アルゴリズムを開発し、リアルタイムで逐次認識結果を出力できるシステムを完成させた。感情カテゴリー分類には多重判別分析を用いた。このシステムと従来から検討を進めている3次元表情合成とをリンクし、入力された音声にリアルタイムに反応して、その時の感情状態にしたがって表情を変化させる擬人化エージェントシステムも完成させた。

情感语音合成侧重于语音中包含的非语言信息的情感特征，为无情感的语音添加情感；情感语音识别则对带有情感的语音进行分析并对情感进行分类。首先，为了确定语音中包含的情感特征参数，我们完成了一个可以通过任意改变音调、力度、时间结构和重音来进行韵律转换的工具。使用这个工具，我们通过反复试验来改变每个参数，将诸如喜悦、愤怒和悲伤之类的情感添加到没有情感的语音中，并且无论句子或说话者如何，都可以创建情感语音。接下来，我们构建了一个系统，使用音调、功率和语速作为参数，将语音分为上述三种情感类别。我们开发了一种独特的基于倒谱的基音提取和语速分析帧之间的谱距离的提取算法，并完成了一个可以实时顺序输出识别结果的系统。多重判别分析用于情绪类别分类。通过将该系统与已经研究了一段时间的3D面部表情合成相结合，我们完成了一个拟人化代理系统，可以实时响应输入的语音，并根据当时的情绪状态改变其面部表情。