動画談話構造解析とそれを用いた要約生成

视频话语结构分析和摘要生成

• 批准号: 21H03505
• 负责人: 平尾 努
• 金额: $ 11.07万
• 依托单位: NTT Communication Science Laboratories
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03505/
• 关键词: 自然言語処理; マルチモーダル; 談話構造解析; ビデオキャプショニング; 自動要約; キャプショニング

昨年度，イベント間の意味関係を修辞構造木として表現する動画談話構造解析がタスクとして定義可能であることを小規模なデータセットにおける2名のアノテータ間の一致に基づき示した．本年度は，データを拡充し，ニューラルネットワークに基づくベースライン解析器を構築しその結果を分析した．その結果(1)イベントに与えられた正解キャプションからイベントのベクトル表現を得た場合，その解析性能は人間に匹敵する，(２)しかし，自動生成キャプションからイベントのベクトル表現を得た場合には解析性能が大きく劣る，(3)動画から直接ベクトル表現を得た場合には，正解キャプションを用いた場合よりも性能は劣るものの自動キャプションを用いた場合よりも優れていることがわかった．さらに動画から直接ベクトル表現を得るためのエンコーダをあらかじめキャプショニングタスクで事前学習しておくと性能向上が得られることがわかり，今後研究を発展させていく上で重要な知見を得た．また，テキスト修辞構造解析に関して，性能向上のためのデータ拡張法の研究にも取り組んだ．ニューラルネットに基づく解析器の場合，大量のラベルなしデータを自動的に解析した結果を擬似正解データとして解析器の事前学習することで性能が向上することが知られている．しかし，ラベルなしデータを十分に得ることができないテキスト領域ではこの手法は適用できない．これを解決するため，少量のラベルつきデータから逆翻訳を用いて大量の擬似正解データを生成する手法を考案し，その有効性を確認した．

去年，我们证明了视频话语结构分析（将事件之间的语义关系表达为修辞结构树）可以定义为基于两个注释者在小数据集上达成一致的任务。今年，我们扩展了数据，构建了基于神经网络的基线分析器，并对结果进行了分析。结果如下：（1）当从事件的正确描述中获得事件的向量表示时，其分析性能与人类的分析性能相当；（2）但是，当事件的向量表示为从自动生成的字幕获得；（3）当直接从视频获得矢量表示时，性能不如使用正确字幕时，但比使用自动字幕时要好。此外，我们发现通过预训练编码器以使用字幕任务直接从视频中获取矢量表示可以提高性能，这是未来研究的重要发现。我们还致力于数据增强方法的研究，以提高文本修辞结构分析的性能。在基于神经网络的分析器的情况下，已知可以通过使用自动分析大量未标记数据作为伪正确数据的结果对分析器进行预训练来提高性能。然而，该方法不能应用于无法获得足够的未标记数据的文本区域。为了解决这个问题，我们设计了一种利用少量标记数据进行反向翻译来生成大量伪正确数据的方法，并证实了其有效性。

项目成果

A Language Model-based Generative Classifier for Sentence-level Discourse Parsing

基于语言模型的句子级语篇解析生成分类器

• 发表时间: 2021
• 作者: Ying Zhang; Hidetaka Kamigaito; Manabu Okumura
• 通讯作者: Manabu Okumura