構音障がい者のカスタマイズドコミュニケーション基盤技術の創出

为构音障碍人士打造定制化沟通平台技术

基本信息

批准号：
21H00906
负责人：
滝口哲也
金额：
$ 10.48万
依托单位：
Kobe University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

昨年度の研究成果をもとに構音障がい者のカスタマイズドコミュニケーション基盤技術に資する手法の提案，および実証実験をさまざまな観点から行い，それらの有効性を確認した．主な内容は以下のとおりである．(1) 器質性構音障がい者においては，発話器官の異常があるために，話者ごとに大きく異なる固有の発話スタイルを獲得していると考えられる．その結果，発音困難な音声と比較的容易な音声の間で，誤認識の頻度も大きく異なると考えられる．本年度では，その話者ごとの誤認識の傾向を考慮した発話辞書適応，および中間層損失関数を導入した音声認識システムを検討した．この音声認識システムでは話者ごとの誤り傾向を学びながらも，本来想定されている健常者と同じような認識結果を出力することが期待される．音声認識実験により認識精度が改善されることが示された．(2) 脊髄性筋萎縮症者の話者性を維持しつつ聞き取りやすい音声を合成するシステムの改良を行った．具体的には話者認識モデルから得られる話者埋め込みを利用して，新たな損失関数を深層学習に加える方法を提案した．その結果，提案法は収録音声と比較して明瞭で，従来法より話者性に優れた音声を生成することができた．また実環境下では人工呼吸器のような音を発する医療器具を装着された状態での収録が必要となることが多く，結果として機器雑音が混入した音声が収録されることとなる．それらの外部雑音を含む収録音声をそのまま学習に用いると，合成音声が雑音を多く含んだものになる可能性がある．そのため，本年度では，深層学習に基づく音声強調処理も音声合成システムの事前処理に組み込み，有効性を確認した．

基于去年的研究成果，我们提出了有助于构音障碍患者定制通信基础设施技术的方法，从多个角度进行了演示实验，并证实了其有效性。主要内容如下。 (1) 器质性构音障碍患者被认为已经获得了独特的言语风格，由于言语器官的异常，不同说话者的言语风格差异很大。结果，认为难以发音的语音和相对容易发音的语音之间的误识别频率有很大差异。今年，我们研究了一种语音识别系统，该系统结合了语音词典适应（考虑到每个说话者的误识别趋势）和隐藏层损失函数。尽管该语音识别系统学习了每个说话者的错误倾向，但正如预期的那样，预计会输出与正常人相似的识别结果。语音识别实验表明，识别准确率有所提高。 (2) 我们改进了一个系统，该系统可以合成易于听到的语音，同时保持脊髓性肌萎缩症患者的说话者特征。具体来说，我们提出了一种使用从说话人识别模型获得的说话人嵌入向深度学习添加新的损失函数的方法。因此，所提出的方法能够生成比录制的语音更清晰的语音，并且比传统方法具有更好的说话人特征。另外，在现实环境中，常常需要佩戴像呼吸机一样发出声音的医疗设备进行录音，导致录制的音频中混有设备噪音。如果将包含这种外部噪声的记录语音原样用于学习，则合成的语音可能包含大量噪声。因此，今年我们将基于深度学习的语音增强处理融入到语音合成系统的预处理中，并证实了其有效性。

项目成果

期刊论文数量（45）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Adaptation of a Pronunciation Dictionary for Dysarthric Speech Recognition

DOI：
10.1109/lifetech53646.2022.9754848
发表时间：
2022-03
期刊：
2022 IEEE 4th Global Conference on Life Sciences and Technologies (LifeTech)
影响因子：
0
作者：
Yuya Sawa;R. Takashima;T. Takiguchi
通讯作者：
Yuya Sawa;R. Takashima;T. Takiguchi

Harmonic-Net+:高調波入力とLayerwise-Quasi-Periodic畳み込みを用いた基本周波数制御可能な高速ニューラルボコーダ

Harmonic-Net+：使用谐波输入和分层准周期卷积进行基频控制的高速神经声码器

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
松原圭亮;岡本拓磨;高島遼一;滝口哲也;戸田智基;河井恒
通讯作者：
河井恒

個人ホームページ

个人主页

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

発話音声の感情を反映したテロップ画像の自動生成手法の検討

反映语音情感的字幕图像自动生成方法研究

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
中村史也;相原龍;高島遼一;滝口哲也;今井良枝
通讯作者：
今井良枝

Convolutional Neural Networks Inference Memory Optimization with Receptive Field-Based Input Tiling

卷积神经网络通过基于感受野的输入平铺进行推理内存优化

DOI：
10.1561/116.00000015
发表时间：
2023
期刊：
APSIPA Transactions on Signal and Information Processing
影响因子：
3.2
作者：
Weihao Zhuang;Tristan Hascoet;Xunquan Chen;Ryoichi Takashima;Tetsuya Takiguchi;Yasuo Ariki
通讯作者：
Yasuo Ariki