聴覚末梢系数理モデルを用いた嗄声の音響学的特徴の解明

使用听觉外围系统的数学模型阐明声音嘶哑的声学特征

基本信息

批准号：
20K20222
负责人：
藤村真太郎
金额：
$ 2.58万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

嗄声や不快音の「質感」をヒトは直感的に評価できるが、従来の調波構造やその包絡を用いた信号処理法ではその特徴を十分に説明できない。本研究の目的は、1)聴覚末梢系の数理モデルを用いて時間領域の情報を高解像度で表現可能な新しい解析手法を開発し、2)嗄声や不快音の「質感」を特徴づける音響学的構造を解明することにある。将来的には本手法を機械学習と組み合わせることで音声認識、感情認識、雑音抑圧や音源分離など他の音響信号処理領域における応用も目指す。まず解析に有用な情報表現を得るために、聴覚末梢系を蝸牛基底膜および内有毛細胞を減衰自由振動系とし、調和変位を入力とする独自モデルとしてフィルタアレイを設計した。Nvidia社のGPUを搭載するワークステーション上で、CUDA、C#、C++を利用してこのモデルの並列処理を実装し、周波数軸、時間軸とも高密度にシミュレーションすることにより、高い周波数/時間解像度を両立した表現を得る手法を確立した。さらに視覚的表現によるフィードバックを行いながらモデルパラメーターを調節することができるプログラムを作成した。これらの手法、プログラムにさらに改良を加え、現在遂行中の研究「人工知能(AI)を用いた音声情報に基づく疾患診断支援技術の開発」にて収集した音声データを用いてモデルの基本性能(時間・周波数領域での解像度)の計測を進め、STFTや既存の聴覚フィルタバンクとの特性の比較を行った。現在同様のデータを利用し、音声障害の重症度や病態を推定する深層学習モデルの開発研究途中であり、本聴覚モデルを入力層に組み合わせる手法について実験継続中である。

人类可以直观地评估嘶哑和不愉快的声音的“纹理”，但是使用谐波结构及其信封的常规信号处理方法无法完全解释其特征。这项研究的目的是1）开发一种新的分析方法，该方法可以使用听觉外围系统的数学模型以高分辨率表达时间域信息，以及2）阐明表征嘶哑和不愉快声音的“纹理”的声学结构。将来，该方法将与机器学习相结合，将其应用于声学信号处理的其他领域，例如语音识别，情绪识别，抑制噪声和声音源分离。首先，为了获得有用的信息进行分析，将滤器阵列设计为独特的模型，其中听觉外围系统被用作耳蜗基底膜，并且内部毛细胞受阻尼自由振荡系统，并将谐波位移用作输入。我们已经建立了一种通过在配备NVIDIA GPU的工作站上使用CUDA，C＃和C ++对该模型进行并行处理来实现高频/时间分辨率的方法，并在高密度下模拟了频率和时间轴。此外，创建了一个程序，该程序允许在使用Visual表示形式提供反馈时调整模型参数。这些方法和程序得到了进一步的改进，并使用当前研究中收集的“疾病诊断支持技术基于人工智能（AI）基于语音信息（AI）”中收集的音频数据测量了模型的基本性能（分辨率和频域中的分辨率），并将模型的特征与STFT和STFT进行比较。目前，正在进行研究以开发一种深度学习模型，该模型使用相似的数据估算语音疾病的严重性和病理，并且正在继续使用方法将该听觉模型与输入层相结合的实验。