他者との言語的接触を考慮した個人が用いることばの意味の動的計算モデル

考虑与他人语言接触的个人所用词语含义的动态计算模型

• 批准号: 22KJ0950
• 负责人: 大葉 大輔
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0950/
• 关键词: 自然言語処理; 個人適応; 単語埋め込み; エンティティリンキング

本研究では任意の書き手が任意の時点で単語に込める意味を数理的に表現する方法論を確立する．自然言語の意味は (A) 話題に対する専門性等により個人レベルで異なるだけでなく，(B) 他者の言語を読む・聞くことで変化する．これらの性質を考慮した表現を獲得できれば，ソーシャルメディア投稿のような多種多様な人間が発信する時系列テキストを正確に理解することができる．本年度は，まず書き手レベルで単語の意味表現を計算するための基盤モデル [Oba et al., 2020] の妥当性検証に取り組んだ．実験では，訓練データにおける系列長・ドメイン・各書き手のサンプル数等の分布が計算結果に与える影響を定量化し手法の頑健性を検証することに加え，意味空間上で観測される書き手間の齟齬がテキスト上でも観測されることを定性的に示した．加えて本年度は大規模言語モデル (LLMs) の個人適応技術に関しても研究を行なった．これは，自然言語における意味の変動性 (B) を捉える部分課題を，文脈を考慮することが得意なLLMsの性質により代替する次善策である．その過程で，LLMsを個人適応する既存手法が抱えていた，適用可能データセットの広範さを大幅に改善する手法を開発した．巨大なパラメタ集合 (i.e., LLMs) を書き手間で共有することで過疎性改善にも寄与すると考えられる．本研究内容が着目する書き手・時間といった要素以外にも，高精度なテキスト理解のための言語外情報として世界知識（例: テキスト背景のエンティティ集合）が注目されている．これまでに世界知識を明示的に参照・利用する手法が開発されているが，知識の変動（例: 新エンティティの出現）に対しては対応できておらず，再学習等のコストを払う必要がある．そこで世界知識の連続表現を説明文等から動的に推定・補完する手法を提案し，国際会議EMNLPに採択された．

在这项研究中，我们将建立一种数学上表达任何作者在任何给定时间中列出的含义的方法。自然语言的含义不仅取决于主题的专业知识，而且在阅读和听别人的语言时会发生变化。如果我们可以获得考虑这些属性的表达式，那么我们可以准确地了解各种各样的人类（例如社交媒体帖子）发送的时间序列文本。今年，我们首先致力于基本模型[Oba等，2020]的验证，以计算作者级别的单词语义表达式。在实验中，除了量化序列长度，域，域，每个作者对计算的样品计数的分布的影响外，还会导致训练数据并验证该方法的鲁棒性，我们还定性地证明，在语义空间中观察到的写作工艺之间的差异也可以在文本中观察到。此外，今年我们还对大型语言模型（LLMS）的个人适应技术进行了研究。这是一个子工作，以替换通过LLMS的性质捕获自然语言中意义变异性的子任务，该子任务擅长考虑上下文。在此过程中，我们开发了一种方法，该方法可显着改善现有的LLMS个人适应方法的广泛适用数据集。人们认为，通过写作工作共享大量参数（即LLM）也将有助于改善人口减少。除了这项研究重点的作家和时间的要素外，世界知识（例如，文本背景中的一组实体）也吸引了人们作为高表现文本理解的外语言信息的关注。已经开发了明确参考和使用世界知识的方法，但是他们无法处理知识波动（例如，新实体的出现），他们需要支付重新学习的费用。因此，提出了一种方法，以动态估计并补充来自解释性文本等的世界知识的持续代表，并被国际会议EMNLP通过。

项目成果

Entity Embedding Completion for Wide-Coverage Entity Disambiguation

• DOI: 10.18653/v1/2022.findings-emnlp.472
• 发表时间: 2022
• 作者: Daisuke Oba;Ikuya Yamada;Naoki Yoshinaga;Masashi Toyoda