Transfer characteristics of emotional speech information toward elderly persons with hearing loss and development of novel speech morphing methods

情感语音信息向听力损失老年人的传递特性及新型语音变形方法的开发

基本信息

批准号：
21K19794
负责人：
入野俊夫
金额：
$ 3.99万
依托单位：
Wakayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2021
资助国家：
日本
起止时间：
2021-07-09 至 2024-03-31
项目状态：
已结题

项目摘要

超高齢社会において認知症リスクの大きな要因である対人コミュニケーション能力の低下を防ぎ、さらに活性化するために、お年寄りに「気持ち」 (感情)を伝える際の音声の特徴や知覚特性の解明を試み、理論として定式化する難問に挑戦する。今年度は以下の2つの実績をあげることができた。【1】音声モーフィングと模擬難聴処理による感情伝達/知覚特性の解明と定式化: 模擬難聴システムWHISの音声を健聴者が聴取した場合の感情知覚特性に関して実験を行った。一人の話者の「はい」の感情音声のうち、喜びと悲しみのラベルがついているものに関し、声道長を変化させ複数人の声に変換したのち、モーフィングで中間的な音声を合成した。一対比較法で実施し、丁度弁別閾(JND)と主観的等価点(PSE)を算出した。その結果、模擬難聴の有無にかかわらずPSEに変化がなく、JNDも想定した以上に良かった。JNDの値を検討したところ、感情知覚よりもピッチ知覚で判別されていることが推察された。つまり目論んでいた実験とはなっていないことが結果的にわかった。この知見に基づき、次年度の実験計画案を策定した。また、バリエーションを増やすため複数話者の感情音声を集めた。ただし、発話者は感情表現ができる役者ではなく素人であったので、第３者による感情評定や、台本の影響について調査した。【2】音声モーフィングの自動化:　WORLD音声分析合成系で音声モーフィングを高品質で実行できるようにソフトを整備した。品質を高く保ったまま、中間的な音声を合成できることを確認した。これを受けて【1】の刺激音作成に使用した。自動化に関しては、まだ検討段階ではあるが着実に知見を蓄えつつある。特徴の対応点の数と品質に関する検討を行った。

为了防止超老龄化社会中导致痴呆风险的主要因素——人际沟通能力的下降，并进一步振兴人际沟通能力，我们旨在阐明传达“感情”时的言语特征和感知特征。（情感）尝试解决可以表述为理论的难题。今年，我们取得了以下两个成果。 [1] 使用语音变形和模拟听力损失处理来阐明和表述情绪传递/感知特征：我们对正常听力者收听模拟听力损失系统 WHIS 的音频时的情绪感知特征进行了实验。在一个说话者说“是”的带有喜悦和悲伤标签的情感声音中，改变声道长度将其转换为多人的声音，然后使用变形合成中间声音。采用配对比较法计算辨别阈值（JND）和主观等价点（PSE）。结果，无论是否存在模拟听力损失，PSE 都没有变化，JND 也好于预期。在检查 JND 值时，推断歧视是基于音调感知而不是情绪感知。换句话说，事实证明这个实验并不是我们计划的那样。基于这些知识，我们制定了明年的实验计划。我们还收集了多个说话者的情感声音以增加变化。然而，由于说话者是业余爱好者，而不是能够表达情感的演员，因此我们调查了第三方和剧本对情感评级的影响。 [2] 语音变形自动化：已开发出软件，可使用 WORLD 语音分析和合成系统实现高质量语音变形。我们确认可以在保持高质量的同时合成中间语音。基于此，我用它来创建[1]的刺激声音。关于自动化，虽然还处于考虑阶段，但我们正在稳步积累知识。我们调查了特征对应点的数量和质量。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

クラウドソーシング聴取実験のための効果的な事前参加者スクリーニング

众包听力实验的有效参与者前筛选

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
宮﨑芙紀;山本絢子;土庵晋太郎;入野俊夫
通讯作者：
入野俊夫

A new implementation of hearing impairment simulator WHIS based on the gammachirp auditory filterbank

基于 gammachirp 听觉滤波器组的听力障碍模拟器 WHIS 的新实现

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
R. Kang;M. Zhu;and E. Oki;Toshio Irino
通讯作者：
Toshio Irino

模擬難聴音声了解度の主観評価実験とGESIによる予測

GESI模拟听力损失语音清晰度主观评价实验及预测

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
山本絢子;宮﨑芙紀,田丸萌夏;入野俊夫
通讯作者：
入野俊夫

音の評価指標計算方法、評価データを生成する方法、音の評価装置、及びコンピュータプログラム

声音评价指标计算方法、评价数据生成方法、声音评价装置以及计算机程序

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
通讯作者：

モーフィング音声を用いた話者の個人性知覚の調査: 鼻音の有無と発話単語の同異による影響

使用变形语音研究说话者的个性感知：鼻音存在或不存在以及口语单词相似性的影响

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Hideki Kawahara;Kohei Yatabe;Toshie Matsui;Nao Hodoshima;Mitsunori Mizumachi;Ken-Ichi Sakakibara;河原英紀，矢田部浩平，水町光徳，榊原健一，松﨑博季;内堀颯太，河原英紀，松井淑恵
通讯作者：
内堀颯太，河原英紀，松井淑恵