Speech Synthesis based on the sense of physical and psychological distance from the user

基于与用户的身体和心理距离感的语音合成

• 批准号: 21K17784
• 负责人: 村上 遥
• 金额: $ 3万
• 依托单位: National Institute of Informatics (2022)Kobe University (2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17784/
• 关键词: 近接学; 音声合成; コミュニケーション; Deep learning; HCI; VR

今年度は対話時に人が物理的距離に応じて発声を変えると言う、物理的距離感に関し実証する実験を行った。今後の音声合成、分析のため音声収録も行った。二種類の検証を行い、いずれも被験者４名で１グループ、１名が発話者、３名が聴き手となり役割を交代して実施した。一つ目は聴き手が呼びかけ角度の異なる声を聞き分けられるか調べる実験で、聴き手役３名を互いに1.5m程度の間隔で発話者に背を向け横一列で並んでもらい、それに対し発話者役が中心の聴き手から1m, 3m, 4mの距離から、実験実施者が指で指示した聴き手に「こんにちは」等と呼びかけてもらうものである。この試行は各距離ごとに9回行った。聴き手役は誰が呼ばれたかの判断を指で示した。距離間隔は、固体距離、社会距離、公共距離(Hall, 1966)に位置するよう設定した。４名の被験者実験の結果、1mでは聴き手役の平均正解率は0.889、3mでは0.815であった。ところが、4mでは0.259とチャンスレベルの0.333を割り、3mから4mへの違いで急激な低下が生じた。4mでは端と中央の聴き手のどちらが呼ばれたかを間違える被験者が急増した。4mは各人に対し意識を向けなくなる公共距離であることが影響している可能性がある。二つ目は聴き手役３名を発話者役から1m, 2.5m, 4mの距離に斜め１列に並ばせ、距離感の異なる声を聞き分けられるか、一つ目と同様の実験を行った。距離感が普遍的か検証するため、日本人被験者グループ４つ、非日本語話者グループ４つの計32名の被験者に協力頂いた。呼びかける言葉を予め決め、前者は日本語で約11種類、後者は約16種類とした。結果、判別率が最も高い言葉は"Hey"で0.787、最も低い言葉は各人の母国語の「すみません」となった。いずれもチャンスレベルを大きく上回る正解率で、物理的距離により人が発声を変えている現象を実証した。

今年，我们进行了一个实验，以证明身体距离，人们根据对话期间根据身体距离改变声音。还进行了录音以进行未来的语音综合和分析。进行了两种类型的测试，在每种情况下，一组四个主题，一名演讲者和三个听众，每个听众都扮演角色。第一个实验是检查听众是否可以区分不同角度的声音，并要求三个听众以约150万的时间将他们的背部转向扬声器，并且作为回应，要求用手指指示扬声器的听众说“你好”或类似的话。该试验在每个距离进行了9次。听众用手指确定谁被叫来。距离间隔设置为坚实的距离，社交距离和公共距离（Hall，1966）。四个主题实验的结果表明，1M时听众的平均正确答案率为0.889，在3M时为0.815。但是，在4M时，机会水平为0.259，为0.333，差异为3m至4m，导致突然下降。在4M时，错误地称呼听众在边缘或中心的受试者数量迅速增加。可能是400万是公开距离，阻止人们注意每个人。其次，将三名听众的对角线排列在扬声器的距离为1m，25m和4m的距离上，并且首先进行了相同的实验，以查看他们是否可以区分具有不同距离感官的不同声音。为了验证距离是否普遍存在，与我们合作了32个受试者，其中包括四个日本主题群和四个非日发言人群体。要提到的单词是事先确定的，前者大约是11种日语，后者约为16种。结果，“嘿”的歧视率最高的单词为0.787，而歧视最低的单词对于每个人的母语来说是“对不起”。这两者的正确答案率远高于机会级别，这表明了人们由于身体上的距离而改变声音的现象。

项目成果

演劇界の常識「距離感」の実証への取り組み

努力展现戏剧界的“距离”常识

• 发表时间: 2023
• 作者: Truong Thao Nguyen;Peng Chen;Yusuke Tanimura;村上 遥
• 通讯作者: 村上 遥