Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation

使用对话理解估计的年龄相关退化检测系统的开发和评估

• 批准号: 22K04626
• 负责人: 脇田 由実
• 金额: $ 2.16万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04626/
• 关键词: オンライン会話音声; サービス付き高齢者住宅; 重なり発声除去; 音声認識誤り特性; ピッチ抽出; 発声速度; 衰え度察知システム; オンライン会話; 高齢者サービス住宅

1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この２点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて６名による６会話分を収録（３～４分／会話）。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80％。重なり発声部分の除去による、ピッチ値の精度向上を検討中。3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会１件発表。（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

1、开发了在线谈话录音系统，并对谈话内容进行录音。 (1) 录音者远程参与在线工具，而对话者未进行录音； (2) 参与者未通过在屏幕上呈现对话吉祥物画面并关闭麦克风的方式告知对话者情况。这两点创造了老年人可以自然地进行日常对话的情况。在老年人辅助生活设施中录制了 6 个人的 6 段对话（3-4 分钟/对话）。由于通过对话后调查问卷确认学生能够自然对话，因此决定从明年开始开发一个对话数据库进行评估。 2、对网络对话音频的分析发现，与面对面的对话相比，从对方的对话切换到自己的对话的时机很难规划，而且多个说话者的话语经常重叠。问题是重叠发声部分的音高值不稳定。我们提出了一种使用每个话语的音调标准偏差值和帧之间的音调差异来识别重叠话语的方法。目前，重叠发声识别率为80%。我们目前正在考虑通过消除重叠的发声来提高音高值的准确性。 3.为了识别用于衰减估计的响应话语，我们引入了语音识别功能，并构建了一个从识别结果中提取响应话语的系统。问题是由于日常对话中模糊的发声而导致的误识别。我们分析了误识别并澄清了日常对话中传统语音理解处理的问题。研究结果在一次国际会议上公布。 （日常会话中的话题转移特征对识别错误的影响，IHIET2022）

项目成果

The effect of topic-shift characteristics in daily conversation on identification of recognition errors

日常会话话题转移特征对识别错误的影响

• 发表时间: 2022
• 期刊: AHFE Interrnational
• 作者: Yotaro Iida;Hikaru Nishida;Yumi Wakita
• 通讯作者: Yumi Wakita