Voice interactive safety system robust for noisy environment

适合嘈杂环境的语音交互安全系统

基本信息

批准号：
22K14447
负责人：
横田和哉
金额：
$ 3万
依托单位：
Nagaoka University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究課題では、騒音環境下で使用される作業機械において、人間と作業機械の間で音声対話型の安全情報伝達を可能とすることを目的して研究を行った。具体的には、作業機械という条件設定に適した騒音低減・音声強調手法の開発と、その手法の妥当性を確認するクレーン操作シミュレータの開発に取り組んだ。騒音低減・音声強調に関しては、機械学習を用いた音声強調手法について、スペクトログラムの種類による品質の違いについて評価を行った。一般的に用いられているメルスペクトログラムに対し、線形スペクトログラムを用いた音声強調では、本研究課題で設定する作業機械という状況下において、主観評価で高い評価を得る傾向を確認した。クレーン操作シミュレータに関しては、VRヘッドマウントディスプレイを用いて仮想空間内のクレーンを操作するシミュレータの試作を行った。また、シミュレータに自動運転による危険回避操作システムを統合した。試作した危険回避操作システムを用いることで、人間の操作と比較して、特定の危険状況下から短時間で安全状態に復帰することを、荷役作業シミュレーションにより確認した。また音声対話型の安全情報伝達システムの実証基盤として、運転室前方のヘッドアップディスプレイに安全情報を表示するシステムの試作を行った。また、音声対話型安全情報伝達システムの評価指標として、シミュレータ内で視線計測を用いて疲労度等を定量的に評価するシステムを実装した。以上より、本研究課題で開発する音声対話型安全情報伝達システムの基盤を構築した。

该研究主题的目的是实现在嘈杂环境中使用的工作机器中人类和工作机之间的配音相互作用的安全信息传播。具体来说，我们致力于开发降低降噪和语音重点技术，适合将条件设置为工作机，以及确认该方法有效性的起重机操作模拟器。关于降低噪声和语音重点，我们根据使用机器学习的语音强调方法的频谱图的类型评估了质量差异。在常用的MEL频谱图中，当使用线性光谱图强调声音时，我们确认在本研究主题中设置的工作机器的情况下，在主观评估中获得高评估的趋势。关于起重机操作模拟器，我们创建了一个原型模拟器，该原型模拟器使用VR头安装的显示器在虚拟空间中操作起重机。此外，使用自动驾驶的规避风险操作系统已集成到模拟器中。使用原型危险避免操作系统，我们通过货物处理模拟确认，与人类操作相比，可以在短时间内将安全状况恢复到安全状态。此外，作为配音安全信息传输系统的演示基础，创建了一个原型系统，以在驾驶员前面的头上显示屏上显示安全信息。此外，作为对语音相互作用安全信息传输系统的评估指数，使用模拟器中的凝视测量值，用于定量评估疲劳水平等的系统。从以上，我们为本研究主题中开发的旁白安全信息传输系统建立了基础。