A Study on Context-aware Latent Variable Models for Neural Machine Translation

神经机器翻译上下文感知潜变量模型的研究

基本信息

批准号：
21K12031
负责人：
二宮崇
金额：
$ 2.66万
依托单位：
Ehime University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

令和4年度は、潜在変数を用いたコンテキストアウェアな機械翻訳の学習を目的として、1) 潜在ディリクレ配分法 (LDA) を用いたトランスフォーマーの研究、2) EMアルゴリズムを用いたバイリンガルサブワード分割の研究、3) 潜在拡散モデルを用いたマルチモーダル機械翻訳の研究、4) 階層型BARTによる生成型要約の研究を行った。1)について、潜在変数トピックモデルの有効性を確認するために、LDAにより与えられるタグを対訳文の先頭に付与して機械翻訳を行う手法を提案した。日英対訳コーパスASPECを用いた実験の結果、提案手法により翻訳精度BLEUが38.8%から39.0％まで向上することを確認できた。2)について、現在ほとんどの機械翻訳システムではトークン分割のためにサブワード分割が用いられているが、従来のサブワード分割は単言語を対象としていた。本研究では、ユニグラム言語モデルを基にして、2言語間のサブワードアライメントを潜在変数とするバイリンガルサブワード分割を提案した。サブワードの対応関係を学習するためにEMアルゴリズムを用いた。ASPECを用いた実験の結果、日英翻訳のBLEU値が26.7%から27.3%まで向上することが確認できた。3)について、潜在拡散モデルを用いることで、マルチモーダル機械翻訳に不要な画像情報を除去する画像変換を行う手法を提案した。Multi30kを用いた実験の結果、BLEU値が41.06%から41.20%まで向上することが確認できた。4)について、階層型モデルの有効性を確認するため、コンテキストアウェアな階層型BARTによる生成型要約の研究を行った。文レベルの情報と単語レベルの情報を階層的に融合するモデルを考案し、自動要約に適用した。実験の結果、要約精度ROUGEが40.88%から40.98%まで向上することが確認できた。

2020年，以使用潜在变量学习上下文感知机器翻译为目标，我们将进行1）使用潜在狄利克雷分配（LDA）的变压器研究，2）使用EM算法的双语子词分割研究，3）研究。使用潜在扩散模型进行多模态机器翻译的研究，以及 4）使用分层 BART 进行生成摘要的研究。关于1），为了确认潜变量主题模型的有效性，我们提出了一种通过在双语句子开头添加LDA给出的标签来进行机器翻译的方法。使用日英双语语料库ASPEC进行的实验结果证实，该方法将翻译准确率BLEU从38.8%提高到39.0%。关于2），目前大多数机器翻译系统都使用子词分割来进行标记分割，但传统的子词分割是针对单一语言的。在本研究中，我们提出了基于一元语言模型的双语子词分割，使用两种语言之间的子词对齐作为潜在变量。 EM算法用于学习子词的对应关系。使用 ASPEC 进行的实验结果证实，日语-英语翻译的 BLEU 值从 26.7% 提高到 27.3%。关于3），我们提出了一种图像变换方法，通过使用潜在扩散模型去除多模态机器翻译中不必要的图像信息。使用Multi30k进行的实验结果证实，BLEU值从41.06%提高到41.20%。关于4），为了确认分层模型的有效性，我们使用上下文感知分层BART进行生成摘要研究。我们设计了一种将句子级信息和词级信息分层组合的模型，并将其应用于自动摘要。实验结果证实，ROUGE的总结准确率从40.88%提高到40.98%。