実用性の高いEnd-to-End音声認識に向けた研究

高实用性端到端语音识别研究

基本信息

批准号：
22KJ2898
负责人：
樋口陽祐
金额：
$ 1.41万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2898/
关键词：
音声認識

项目摘要

音声を使ったインターフェースの実用性を向上させるために、高速で高精度な音声認識技術の開発を進めている。これまでの研究では、マスク言語モデルに基づいた非自己回帰型のEnd-to-End音声認識モデルを構築し、従来モデルと遜色ない認識精度を実現しつつ、推論速度を大幅に高速化できることを示してきた。本年度は、提案モデルに大規模汎用言語モデルを取り入れることで、認識精度をさらに向上できることを明らかにした。また、提案モデルのストリーミング音声認識における有効性を確認した。音声認識において正確な文を生成するには、単語間の依存関係を捉えることが重要となるが、これを音声情報のみから抽出するのは容易でない。これに対し、大規模言語モデルであるBERTから得られる汎用的な言語知識を、音声処理の過程に組み込むことで、出力の文脈情報を効果的に捉えられる音声認識手法を考案した。様々な言語や発話スタイル、学習データ量を用いた音声認識実験において提案手法を評価した結果、従来モデルよりもも高い認識精度が得られることを確認した。また、これまでに開発した推論アルゴリズムと組み合わせることで、認識速度を大幅に高速化できることも明らかとなった。当該成果は、自然言語処理の主要会議であるEmpirical Methods inNatural Language Processing (EMNLP 2022)のFindings、および音声処理の主要会議であるIEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)などに採択された。

为了提高语音界面的实用性，我们正在开发高速、高精度的语音识别技术。在我们之前的研究中，我们构建了基于掩码语言模型的非自回归端到端语音识别模型，并证明可以显着加快推理速度，同时实现与传统模型 I' 相当的识别精度。已经展示过了。今年，我们透露，通过将大规模通用语言模型纳入所提出的模型中，可以进一步提高识别精度。我们还证实了所提出的模型在流式语音识别中的有效性。为了在语音识别中生成准确的句子，理解单词之间的依赖关系很重要，但仅从语音信息中提取这种依赖关系并不容易。为此，我们设计了一种语音识别方法，通过将从大规模语言模型 BERT 获得的通用语言知识融入到语音处理过程中，可以有效捕获输出的上下文信息。通过在使用各种语言、语音风格和训练数据量的语音识别实验中评估所提出的方法，我们证实它比传统模型实现了更高的识别精度。研究还表明，通过将该方法与先前开发的推理算法相结合，可以显着提高识别速度。该成果已被自然语言处理领域重要会议Findings of EmpiricalMethods in Natural Language Treatment (EMNLP 2022)和音频领域重要会议IEEE声学、语音和信号处理国际会议(ICASSP 2023)采纳加工。