Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods

情感语音信息向听力损失老年人的传递特性及新型语音变形方法的开发

基本信息

批准号：
21K19794
负责人：
入野俊夫
金额：
$ 3.99万
依托单位：
Wakayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2021
资助国家：
日本
起止时间：
2021-07-09 至 2024-03-31
项目状态：
已结题

项目摘要

超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 模擬難聴システムWHISの音声を健聴者が聴取した場合の感情知覚特性に関して実験を行った。一人の話者の「はい」の感情音声のうち、喜びと悲しみのラベルがついているものに関し、声道長を変化させ複数人の声に変換したのち、モーフィングで中間的な音声を合成した。一対比較法で実施し、丁度弁別閾(JND)と主観的等価点(PSE)を算出した。その結果、模擬難聴の有無にかかわらずPSEに変化がなく、JNDも想定した以上に良かった。JNDの値を検討したところ、感情知覚よりもピッチ知覚で判別されていることが推察された。つまり目論んでいた実験とはなっていないことが結果的にわかった。この知見に基づき、次年度の実験計画案を策定した。また、バリエーションを増やすため複数話者の感情音声を集めた。ただし、発話者は感情表現ができる役者ではなく素人であったので、第３者による感情評定や、台本の影響について調査した。【2】音声モーフィングの自動化:　WORLD音声分析合成系で音声モーフィングを高品質で実行できるようにソフトを整備した。品質を高く保ったまま、中間的な音声を合成できることを確認した。これを受けて【1】の刺激音作成に使用した。自動化に関しては、まだ検討段階ではあるが着実に知見を蓄えつつある。特徴の対応点の数と品質に関する検討を行った。

为了预防和进一步激活人际交往能力，这是超级年龄社会中痴呆症风险的主要因素，我们试图在向老年人传达情感（情感）时阐明语音的特征和感知特征，并挑战困难的问题，以使他们成为理论。今年，我们能够实现以下两项成就：[1]通过语音变形和模拟听力损失处理来阐明和制定情绪传播/感知特征：当健康的听力人聆听模拟听力损失系统的声音时，就对情感感知特征进行了实验。在一个以喜悦和悲伤标记的一位演讲者的“是”的情感声音中，声带的长度被更改为从多个人的声音中转换为声音，然后使用变形合成中间语音。通过成对比较方法计算歧视阈值（JND）和主观等效点（PSE）。结果，无论是否有模拟听力损失，PSE都不会改变，JND比预期的要好。在检查JND值时，可以推断出可辨认的感知是通过音调感知而不是通过情感感知来的。换句话说，事实证明，这不是我们打算做的实验。根据这一发现，制定了明年的实验计划草案。此外，收集了来自多个扬声器的情感音频，以增加变化的数量。但是，由于说话者是业余爱好者，而不是可以表达情感的演员，因此我们调查了第三方的情感评估和剧本的影响。 [2]自动化语音变形：软件已准备好使用世界语音分析和合成系统启用高质量的语音变形。我们确认可以在保持高质量的同时综合中间语音。为此，它被用来在[1]中创建刺激声音。尽管它仍在考虑自动化的过程中，但我们仍在稳步积累知识。我们研究了特征点的数量和特征质量。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

クラウドソーシング聴取実験のための効果的な事前参加者スクリーニング

众包听力实验的有效参与者前筛选

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
宮﨑芙紀;山本絢子;土庵晋太郎;入野俊夫
通讯作者：
入野俊夫

A new implementation of hearing impairment simulator WHIS based on the gammachirp auditory filterbank

基于 gammachirp 听觉滤波器组的听力障碍模拟器 WHIS 的新实现

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
R. Kang;M. Zhu;and E. Oki;Toshio Irino
通讯作者：
Toshio Irino

模擬難聴音声了解度の主観評価実験とGESIによる予測

GESI模拟听力损失语音清晰度主观评价实验及预测

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
山本絢子;宮﨑芙紀,田丸萌夏;入野俊夫
通讯作者：
入野俊夫

音の評価指標計算方法、評価データを生成する方法、音の評価装置、及びコンピュータプログラム

声音评价指标计算方法、评价数据生成方法、声音评价装置以及计算机程序

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
通讯作者：

モーフィング音声を用いた話者の個人性知覚の調査: 鼻音の有無と発話単語の同異による影響

使用变形语音研究说话者的个性感知：鼻音存在或不存在以及口语单词相似性的影响

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Hideki Kawahara;Kohei Yatabe;Toshie Matsui;Nao Hodoshima;Mitsunori Mizumachi;Ken-Ichi Sakakibara;河原英紀，矢田部浩平，水町光徳，榊原健一，松﨑博季;内堀颯太，河原英紀，松井淑恵
通讯作者：
内堀颯太，河原英紀，松井淑恵