A Study on Ambiguous Utterance Understanding for Speech Input

语音输入的歧义话语理解研究

• 批准号: 03452167
• 负责人: NAKAGAWA Seiichi
• 金额: $ 4.54万
• 依托单位: Toyohashi University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (B)
• 财政年份: 1991
• 资助国家: 日本
• 起止时间: 1991 至 1993
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-03452167/
• 关键词: Speech Input; Speech Recognition; Dialog System; Spoken Dialog; Ambiguous Input; Speech Understanding; Language Understaning; 自然言語処理; 自然言語解析; 文脈処理; 間投詞; 言い淀み; 言い直し; 助詞; 倒置; 文生成

We proposed an unsupervised speaker adaptation method on sequencial concatenation training that used the theory of MAPE(Maximum A Posteriori probabitity Estimation) for continuous parameter HMM.In this method, we should only specify the syllable label sequence for the utterrance. The label sequences were provided automatically by the recognizer which used a speaker-independent model in advance. The experimental results on continuous speech recognition showed that the better model gave a performance comparable to that of supervised adaptation.Secondly, we proposed a method to process interjection and unknown words so that a speech recognition system could deal with spontaneous speech in dialog. We have evaluated the peerformance of our speech recognition system using test sentence sets including interjection or unknown words, and confirmed that the proposed method worked well.Thirdly we investigated the menu-guided spoken natural language understanding system that could understand all user's inputs. This work was motivated by the following fact that a user could not understand what to say or how to say to a computer in natural language. The system displays a menu that consists of acceptable content words and the usur chooses one word from the menu and speaks out phrase that includes the word. The experimental showed that our system performed well for the novice users.

我们提出了一种基于连续参数 HMM 的 MAPE（最大后验概率估计）理论的顺序连接训练的无监督说话人自适应方法。在该方法中，我们只需指定话语的音节标签序列。标签序列由识别器自动提供，该识别器预先使用与说话人无关的模型。连续语音识别的实验结果表明，更好的模型具有与监督适应相当的性能。其次，我们提出了一种处理感叹词和未知词的方法，以便语音识别系统能够处理对话中的自发语音。我们使用包括感叹词或未知单词的测试句子集评估了我们的语音识别系统的性能，并确认所提出的方法运行良好。第三，我们研究了可以理解所有用户输入的菜单引导的口语自然语言理解系统。这项工作的动机是以下事实：用户无法理解用自然语言对计算机说什么或如何说。系统显示一个由可接受的内容词组成的菜单，用户从菜单中选择一个词并说出包含该词的短语。实验表明我们的系统对于新手用户来说表现良好。

项目成果

中川聖一: "ニューラルネットワークによる確率密度関数・事後確率の推定と母音認識" 電子情報通信学会論文誌. 76-DII. 1081-1089 (1993)

Seiichi Nakakawa：“使用神经网络估计概率密度函数和后验概率以及元音识别”电子、信息和通信工程师学会汇刊 76-DII 1081-1089 (1993)。

森屋 裕治: "対話予測を利用した音声による観光案内対話システム" 電子情報通信学会,音声研究会技術報告. SP92-121. 43-50 (1993)

Yuji Moriya：“使用对话预测的基于语音的旅游信息对话系统”，电子、信息和通信工程师研究所，语音研究组技术报告 SP92-121（1993）。

中川聖一: "ワードスポッティング法を用いた文脈自由文法制御フレーム同期型HMM連続音声認識法" 電子情報通信学会論文誌. 76-DII. 1329-1336 (1993)

Seiichi Nakakawa：“使用单词识别方法的上下文无关语法控制的帧同步 HMM 连续语音识别方法”，电子、信息和通信工程师协会学报 76-DII。

中川聖一: "最大事後確率推定法を用いた連続出力分布型HMMの適応化" 日本音響学会誌. 49. 721-728 (1993)

Seiichi Nakakawa：“使用最大后验概率估计方法的连续输出分布类型 HMM 的自适应”日本声学学会杂志 49. 721-728 (1993)。

Mikio Yamamoto: "A spoken dialog system with verification and clarification gueries" IEICE Trans.Inf.& Syst.E76-D. 84-94 (1993)

Mikio Yamamoto：“具有验证和澄清问题的语音对话系统”IEICE Trans.Inf。