複数話者の音声コミュニケーションの意図・状況理解

了解多说话者语音通信的意图和情况

基本信息

批准号：
13224057
负责人：
河原達也
金额：
--
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas (C)
财政年份：
2001
资助国家：
日本
起止时间：
2001 至无数据
项目状态：
已结题

项目摘要

会議・会話など人間どうしの音声を対象として、音声データの収集を行うとともに、その音響的・言語的そしてコミュニケーションの観点からのモデル化を行った。まず会議音声を対象として、階層的なアーカイブを構築し、議事録の作成支援を行うシステムを設計した。GMMによる話者識別を行い、その結果により音声を分割するとともに、話者IDや時間情報などのインデックスを生成する。また談話標識を含むキーフレーズの検出により議論の結論となる発話を特定し、議事次第や会議の配布資料などに含まれる話題依存語彙を利用して、これを自動的に書き起こし、議事録のドラフトとする。以上により音声・インデックス・テキストの3層からなるアーカイブを構築することができる。次に、この談話標識に基づく自動インデキシングを大規模な講演音声コーパスに対して適用・評価を行った。学習データの講演の書き起こしからポーズ情報を用いてセクション境界候補を検出し、統計的言語モデルを用いて句点を挿入して、各セクションの先頭の一文を抽出する。その中に含まれる名詞から単語頻度と文頻度に基づいて談話標識を選定する。これらの過程は人手によるタグを必要としない教師なし学習により行われる。評価データの各文について談話標識の単語頻度と文頻度の統計量に基づく評価値を計算し、その合計が閾値以上であればインデックスを付与する。実際の講演音声の書き起こしと音声認識結果に対して評価を行った結果、再現率85%程度(適合率は20%程度)の精度で話題セクション境界を自動検出することができた。

我们收集了人与人之间的声音（例如会议和对话中的声音）的音频数据，并从声学、语言和沟通的角度对其进行建模。首先，我们建立了会议音频的分层存档，并设计了一个支持会议记录创建的系统。利用GMM进行说话人识别，根据结果对音频进行划分，并生成说话人ID、时间信息等索引。此外，通过检测包括话语标记的关键短语，可以识别结束讨论的话语，并使用议程和会议讲义中包含的与主题相关的词汇自动转录。通过上述步骤，可以构建一个由三层组成的档案：音频、索引和文本。接下来，我们将基于此话语标记的自动索引应用于大型讲座演讲语料库并进行评估。我们使用暂停信息从训练数据的讲座转录中检测部分边界候选，使用统计语言模型插入句点，并提取每个部分的第一个句子。话语标记是根据词频和句子频率从其中包含的名词中选择的。这些过程是通过无监督学习执行的，不需要手动标记。根据话语指标的词频和句频的统计，计算评估数据中每个句子的评估值，如果总和等于或大于阈值，则分配指数。通过评估实际讲座音频的转录和语音识别结果，我们能够自动检测主题部分边界，召回率约为 85%（准确率约为 20%）。