離散型HMnetを用いた音声認識システム用言語モデルの自動獲得手法の開発

基于离散HMnet的语音识别系统自动语言模型获取方法的开发

• 批准号: 11780244
• 负责人: 鈴木 基之
• 金额: $ 1.47万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780244/
• 关键词: 音声認識; 言語モデル; 離散型HMnet; NL-HMnet; 有限状態オートマトン; 状態数の自動推定

前年度は新しい言語モデル用HMnet構成法を開発し,人工言語を用いて従来からの言語モデルとの性能比較を行った。その結果,新しく開発した言語モデル(以下,NL-HMnet)は従来からの言語モデルに比べて高い性能を持つことが確認されたが,一方で学習サンプルに対する過学習が起きやすいという欠点を持つことがわかった。そこで本年度は,以下の項目について研究を行った。・一般的な自然言語に対するNL-HMnetの性能評価前年度は簡単な人工言語を用いて基本性能を評価した。そこで本年度はより一般的な自然言語に対してNL-HMnetの性能評価を行った。対象タスクには比較的文法構造が明確であると思われる解剖所見文書を用いた。n-gramと性能比較を行ったところ,特に長い文(1文あたりの単語数が多い文)が多く含まれる節でよい性能を示した。これは,NL-HMnetが遠くの位置にある単語間の相関をうまく表現できることを示していると思われる。一方で学習サンプルに対する過学習も起き,その結果テストサンプルに対するカバー率が低くなってしまった。・NL-HMnetの状態数を自動決定する方法の開発学習サンプルに対する過学習は,NL-HMnetの状態数が過剰である場合に起きる。一方状態数が過小である場合は十分な性能を持たないので,適切な状態数を設定する必要がある。従来は状態数を経験的に与えていたが,学習サンプルのみからテストセットパープレキシティを推定することで,自動的に適切な状態数を選択できる方法を開発した。従来から確率モデルの規模を選択する基準として用いられているMDLに比べ,どのような条件においても常に適切な状態数を選択できることがわかった。

在上一年中，开发了一种新的HMNET配置方法，用于语言模型，并使用具有常规语言模型的人造语言进行性能比较。结果证实，新开发的语言模型（以下称为NL-HMNET）的性能高于常规语言模型，但另一方面，它的缺点是可能会出现学习样本的过度学习。因此，今年我们对以下项目进行了研究。 - 对NL-HMNET对通用自然语言的性能的评估在上一年，使用简单的人工语言评估了基本表现。因此，今年，我们评估了NL-HMNET的性能，以进行更通用的自然语言。主题任务是解剖发现文档，似乎具有相对清晰的语法结构。当我们将表现与N-gram进行比较时，我们发现包含许多长句子（每个句子的句子句子）的子句显示出良好的性能。这似乎表明NL-HMNET可以成功地表达遥远位置的单词之间的相关性。另一方面，也发生了训练样本的学习，导致测试样品的覆盖范围较低。 - 当NL-HMNET的状态数量过多时，会自动确定NL-HMNET状态的发展方法的过度学习。另一方面，如果州的数量不足 无法进行足够的绩效，必须设置适当数量的状态。过去，已经从经验上给出了状态的数量，但是已经开发了一种方法，该方法允许仅从训练样本中估算测试集的困惑来自动选择适当数量的状态。已经发现，与MDL相比，在任何条件下始终可以选择适当的状态，该状态已被用作选择概率模型大小的标准。

项目成果

長野雄,鈴木基之,牧野正三: "大規模言語データベースからの言語モデルの自動獲得"東北大学電気通信研究所第302回音響工学研究会資料. 302-1. 1-11 (1999)

Yu Nagano、Motoyuki Suzuki、Shozo Makino：“从大型语言数据库自动获取语言模型”第 302 届声学工程研究会议材料，东北大学电气通信研究所 302-1（1999）。

長野雄,鈴木基之,牧野正三: "確率的にN-gram統計を切り替える言語モデル"東北大学電気通信研究所第309回音響工学研究会資料. 309-3. 31-41 (2000)

Yu Nagano、Motoyuki Suzuki、Shozo Makino：“随机切换 N-gram 统计的语言模型”材料，第 309 届声学工程研究会议，东北大学电气通信研究所 309-3 (2000)。

鈴木基之,牧野正三: "HMnetにおける最適な状態数の自動決定法"東北大学電気通信研究所第309回音響工学研究会資料. 308-2. 10-15 (2000)

Motoyuki Suzuki，Shozo Makino：“HMnet 中最佳状态数的自动确定方法”第 309 届声学工程研究会议材料，东北大学电气通信研究所 308-2（2000 年）。

長野雄,鈴木基之,牧野正三: "文節NL-HMnetを用いた文モデルの獲得"日本音響学会1999年秋季研究発表会講演論文集. I. 103-104 (1999)

Yu Nagano、Motoyuki Suzuki、Shozo Makino：“使用 Bunsetsu NL-HMnet 获取句子模型”日本声学学会 1999 年秋季研究会议论文集 I. 103-104 (1999)。

M.Suzuki and S.Makino: "Automatic Determination Algorithm for the Optimum Number of States in NL-HMnet"Proc.Third International Conference on Discovery Science. LNAI 1967. 306-310 (2000)

M.Suzuki 和 S.Makino：“NL-HMnet 中最佳状态数的自动确定算法”Proc.第三届国际发现科学会议。