Abstractive Neural Multi-document Summarization Considering Cross Document Structure

考虑跨文档结构的抽象神经多文档摘要

基本信息

批准号：
21H03495
负责人：
奥村学
金额：
$ 10.98万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

テキスト内の文間の関係を解析する文書構造解析器は，我々のグループが世界最高性能を達成していたが，引き続き研究開発を継続し，新しい手法を提案することで，現在も世界最高性能を維持している．この分野の技術の進歩を明確にできるよう，既存の上向き，下向きの解析戦略と最新の事前学習済み言語モデルを組み合わせることで強いベースライン解析器を構築した．この解析器を評価した結果，解析戦略には大きな差がなく，トークンではなくスパンのマスキングを採用した事前学習済み言語モデルが有効であることが分かった．特に，DeBERTa を用いると世界最高性能を達成した．また，十分な量の学習データを確保できないことにより，文間の修辞構造解析の性能は文内と比較して大幅に低く，下流タスクにとって大きな問題となっている．これを解決するため，学習データを逆翻訳することで得た擬似正解データを用いて解析器を事前学習し，正解データを用いて追加学習する手法を提案した．シフト還元法による上向き解析器，スパン分割による下向き解析器に提案法を適用し，標準的ベンチマークデータセットであるRST-DT，Instr-DT を用いて評価した結果，疑似正解データを用いることで Standard-ParsEval のスコアが約 1-2 ポイント向上することを確認した．

我们小组在分析文本中句子之间的关系的文档结构分析器方面取得了世界最高的性能，并且通过持续研究和开发并提出新方法，我们目前正在保持世界最高的性能。为了突出该领域的技术进步，我们通过将现有的向上和向下解析策略与最新的预训练语言模型相结合，构建了一个强大的基线分析器。通过评估该分析器，我们发现分析策略没有重大差异，并且采用跨度掩码而不是令牌掩码的预训练语言模型是有效的。特别是，使用 DeBERTa，我们实现了世界最高的性能。此外，由于无法获得足够的训练数据，句子之间的修辞结构分析性能明显低于句子内部，这也是下游任务的一个主要问题。为了解决这个问题，我们提出了一种方法，其中使用通过反向翻译训练数据获得的伪正确数据预先训练分析器，并使用正确数据进行额外训练。我们将所提出的方法应用于使用平移缩减方法的向上分析器和使用跨度划分的向下分析器，并使用标准基准数据集 RST-DT 和 Instr-DT 对其进行评估 - 我们确认 ParsEval 分数提高了约 1。 -2分。