Development and evaluation of age-dependent degradation detection system using conversation comprehension estimation

使用对话理解估计的年龄相关退化检测系统的开发和评估

• 批准号: 22K04626
• 负责人: 脇田 由実
• 金额: $ 2.16万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04626/
• 关键词: オンライン会話音声; サービス付き高齢者住宅; 重なり発声除去; 音声認識誤り特性; ピッチ抽出; 発声速度; 衰え度察知システム; オンライン会話; 高齢者サービス住宅

1.オンライン会話収録システムを開発し会話収録を実施。(1)会話者側で収録は行わず、遠隔から録音者がオンラインツールに参加する、(2)画面に会話マスコット画面を提示しマイクロホンをオフにしておくことで、会話しない参加者者であることを会話者に通知する、この２点により高齢者が自然に日常会話を行える状況を実現。サービス付き高齢者住宅施設にて６名による６会話分を収録（３～４分／会話）。会話後アンケートにて自然に会話できたことを確認したため、次年度からの評価用会話データベース開発の仕様に決定。2.オンライン会話音声の分析結果から、対面会話に比べ、相手の会話から自分の会話に切り替えるタイミングを図るのが困難で、複数話者の発声の重なりが多いことがわかった。重なり発声部分でのピッチ値の不安定さが課題。発声ごとのピッチ標準偏差値とピッチのフレーム間差分値とを用い、重なり発声部分を特定する手法を提案。現時点で重なり発声特定率80％。重なり発声部分の除去による、ピッチ値の精度向上を検討中。3.衰え推定に用いる応答発声部分を特定するために、音声認識機能を導入し、認識結果から応答発声部分を抽出するシステムを構築。日常会話の発声曖昧さによる誤認識が課題。誤認識の分析を行い、日常会話における従来音声理解処理の課題を明確にした。成果を国際学会１件発表。（The effect of Topic-Shift Characteristics in Daily Conversation on Identification of Recognition Errors,IHIET2022)

1。开发了一个在线对话记录系统并进行了对话记录。 （1）不会在对话方记录录音机，而是会远程参与在线工具； （2）通过在屏幕上介绍对话吉祥物的屏幕并将麦克风放下，告知对话演讲者他们没有说话。这两个要点使老人自然可以进行每日对话。它包含六个人在配备服务的老年住房设施（3-4分钟/对话）的六次对话。对话结束后，我们确认我们能够在调查中自然发言，因此我们决定开发一个从明年开始的对话数据库进行评估。 2。对在线对话的分析表明，与面对面的对话相比，很难从对方的对话转换为您自己的对话，而且多个扬声器经常与声音重叠。挑战是重叠的人声部件中音高值的不稳定。我们提出了一种使用每个语音的音高标准偏差值和螺距间框架差值的方法来识别重叠的声乐零件。目前，重叠的语音识别率为80％。我们目前正在考虑通过删除重叠的人声零件来提高音高值的准确性。 3。为了确定用于估计下降的响应声零件，引入了语音识别函数，并建立了系统以从识别结果中提取响应声零件。挑战是由于日常对话中的歧义而引起的误解。我们分析了错误的认可，并在日常对话中阐明了传统语音理解处理的问题。结果是在一次国际学术会议上提出的。 （日常对话中主题迁移特征对识别错误的识别的影响，IHIET2022）

项目成果

The effect of topic-shift characteristics in daily conversation on identification of recognition errors

日常会话话题转移特征对识别错误的影响

• 发表时间: 2022
• 期刊: AHFE Interrnational
• 作者: Yotaro Iida;Hikaru Nishida;Yumi Wakita
• 通讯作者: Yumi Wakita