Can co-creation value in interpersonal services be measured from spoken nonverbal information?

人际服务中的共同创造价值可以通过口头非语言信息来衡量吗？

基本信息

批准号：
22H03693
负责人：
善甫啓一
金额：
$ 11.07万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

研究を遂行するための基盤を以下のように整え，また得られた基礎的な知見に基づく実験の成果発表を行った。課題#A［小売店におけるバイタル付きVCCプロセスの収集］に関して，サービス提供者のサービス生産活動を計測するための実験室およびVR空間内に模擬店舗を用意した。そこでの実験を通して，熟練サービス提供者の特徴を計測・抽出を行った。その結果，相槌やジェスチャーなど非言語を使ったコミュニケーションにおいて特徴的な傾向が確認された。また，fNIRSを活用してサービス消費中の脳活動を計測するための手段を確認した。予備的な実験を通して価値共創プロセスに大きな影響を与える相手への信頼感を客観的に計測できる可能性が示唆された。課題#B［高ストレス時の音声・詳細バイタル付き価値共創データの収集］に関して，国立がんセンター東病棟にて仮設したマルチモーダルな計測を行うスマート診察室SCOUTERの動作確認を行い，模擬患者を対象に模擬診察を行った。この診察を通して，模擬診察中の映像，呼吸，脈波関連信号，体表面温度，深度画像，それぞれの音声を含む合計36施行の高ストレス時のデータの収集を行った。課題#C［音声の非言語情報から共創価値を推測するモデル］に関して，既存のデータセットを用いる感情推定モデルを作成した。また，診察中の不安・感情を振り返りながら保存ができるアノテーションソフトウェアを作成した。このソフトウェアを活用して，上記模擬診察中の感情のアノテーションを行った。

开展研究的基础准备如下，并介绍了基于所获得的基础知识的实验结果。关于问题#A[零售商店中重要的VCC流程的集合]，在实验室和VR空间中准备了一个模拟商店，以衡量服务提供商的服务生产活动。通过这个实验，我们测量并提取了熟练服务提供者的特征。结果，证实了使用非语言语言（例如支持和手势）进行交流的特征趋势。我们还确认了一种在使用 fNIRS 消费服务时测量大脑活动的方法。通过初步实验表明，可以客观地衡量对对方的信任感，这对价值共创过程有重大影响。关于#B问题【在高压力时期通过音频和详细生命体征收集价值共创数据】，我们对东区临时搭建的多模式测量智能检查室SCOUTER进行了运行检查国家癌症中心的研究人员对模拟患者进行了测试。通过这些检查，我们总共收集了36条高压力数据，包括模拟考试时的视频、呼吸、脉搏波相关信号、体表温度、深度图像和音频。关于任务#C [一种根据语音中的非语言信息估计共同创造价值的模型]，我们使用现有数据集创建了一个情绪估计模型。我们还创建了注释软件，允许患者在体检期间查看并保存他们的焦虑和情绪。该软件用于在上述模拟医疗检查期间注释情绪。

项目成果

期刊论文数量（9）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Rapport Building via a Digital Avatar with a “Voice” Entering into a Customer’s Personal Space

通过数字化身与进入客户个人空间的“声音”建立融洽关系

DOI：
10.1145/3582700.3583695
发表时间：
2023
期刊：
Proceedings of the Augmented Humans 2023
影响因子：
0
作者：
Yamazaki Azusa;Wakatsuki Naoto;Mizutani Koichi;Okada Yukihiko;Zempo Keiichi
通讯作者：
Zempo Keiichi

Diffrences in Speech Recognition Thresholds Emmitted From Parametric Speakers Caused by Sound Level Variation and Voice Gender

由声级变化和语音性别引起的参数扬声器发出的语音识别阈值的差异

DOI：
发表时间：
2022
期刊：
Proceedings of the 28th International Congress on Sound and Vibration (ICSV28)
影响因子：
0
作者：
Kuratomo Noko;Ebihara Tadashi;Wakatsuki Naoto;Mizutani Koichi;Zempo Keiichi
通讯作者：
Zempo Keiichi

Impact on the Quality of Interpersonal Relationships by Proximity using the Ventriloquism Effect in a Virtual Environment

虚拟环境中腹语效应的接近对人际关系质量的影响

DOI：
10.1145/3532104.3571460
发表时间：
2022
期刊：
Companion Proceedings of the 2022 Conference on Interactive Surfaces and Spaces (ISS '22)
影响因子：
0
作者：
Yamazaki Azusa;Wakatsuki Naoto;Mizutani Koichi;Okada Yukihiko;Zempo Keiichi
通讯作者：
Zempo Keiichi

Mouth-in-the-Door: The Effect of a Sound Image of an Avatar Intruding on Personal Space That Deviates in Position From the Visual Image