Voice interactive safety system robust for noisy environment

适合嘈杂环境的语音交互安全系统

基本信息

批准号：
22K14447
负责人：
横田和哉
金额：
$ 3万
依托单位：
Nagaoka University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究課題では、騒音環境下で使用される作業機械において、人間と作業機械の間で音声対話型の安全情報伝達を可能とすることを目的して研究を行った。具体的には、作業機械という条件設定に適した騒音低減・音声強調手法の開発と、その手法の妥当性を確認するクレーン操作シミュレータの開発に取り組んだ。騒音低減・音声強調に関しては、機械学習を用いた音声強調手法について、スペクトログラムの種類による品質の違いについて評価を行った。一般的に用いられているメルスペクトログラムに対し、線形スペクトログラムを用いた音声強調では、本研究課題で設定する作業機械という状況下において、主観評価で高い評価を得る傾向を確認した。クレーン操作シミュレータに関しては、VRヘッドマウントディスプレイを用いて仮想空間内のクレーンを操作するシミュレータの試作を行った。また、シミュレータに自動運転による危険回避操作システムを統合した。試作した危険回避操作システムを用いることで、人間の操作と比較して、特定の危険状況下から短時間で安全状態に復帰することを、荷役作業シミュレーションにより確認した。また音声対話型の安全情報伝達システムの実証基盤として、運転室前方のヘッドアップディスプレイに安全情報を表示するシステムの試作を行った。また、音声対話型安全情報伝達システムの評価指標として、シミュレータ内で視線計測を用いて疲労度等を定量的に評価するシステムを実装した。以上より、本研究課題で開発する音声対話型安全情報伝達システムの基盤を構築した。

在本研究项目中，我们进行了研究，以在嘈杂环境中使用的作业机械中，通过人与作业机械之间的语音交互来传输安全信息。具体来说，我们致力于开发适合工作机械条件的降噪/语音增强方法，并开发起重机操作模拟器以确认该方法的有效性。关于降噪/语音增强，我们根据使用机器学习的语音增强方法的频谱图类型评估了质量差异。与常用的梅尔频谱图相比，我们证实，在本研究主题的工作机器设置的背景下，使用线性频谱图的语音增强往往会获得更高的主观评价。关于起重机操作模拟器，我们创建了一个原型模拟器，可以使用 VR 头戴式显示器在虚拟空间中操作起重机。此外，模拟器还集成了自动驾驶避险系统。我们通过货物装卸模拟证实，原型避险操作系统可以在比人类操作更短的时间内从特定危险情况返回到安全状态。此外，作为语音交互安全信息传输系统的示范基地，我们原型制作了在驾驶室前面的平视显示器上显示安全信息的系统。此外，作为语音交互安全信息传输系统的评价指标，我们实现了利用模拟器内的视线测量来定量评价疲劳程度等的系统。综上所述，我们构建了本研究项目开发的语音交互安全信息传输系统的基础。