Extending knowledge graph structures through deep text understanding

通过深度文本理解扩展知识图结构

• 批准号: 22K12044
• 负责人: 岩井原 瑞穂
• 金额: $ 2.75万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12044/
• 关键词: テキストマイニング; 情報抽出; 深層学習; 学習済み言語モデル; 知識グラフ; テキスト分類; ソーシャルメディア; 知識処理

Wikipediaなどの知識蓄積型コンテンツからは構造的データが知識グラフとして抽出され，検索結果の分類や種々の知識処理に活用されている．知識グラフを充実させるためには，Wikipediaやツィート，文書から新たな知識を抽出して知識グラフを拡張することが必要であり，そのためにはウェブコンテンツの構造情報やテキスト情報を統合的に分析する必要がある．本研究では，(1)少量の訓練データのもとでの多ラベル文書分類タスク, (2)学習済み言語モデルを活用したキーフレーズ抽出・生成,(3)知識グラフの構造的拡張の３つのテーマについて，テキストおよびグラフ構造の深層分析に基づく新たな情報抽出手法を開発するのが目的である．本年度は，(1)については，訓練データを全く与えない，つまりzero-shotでありかつラベル名のテキストのみと，ラベルのない文書集合のみが与えられているという厳しい条件であるclass name only classificationという問題に取り組んだ．ここでは多クラス分類問題について検討している．クラス名から連想される関連語を，prompt tuningと呼ばれる手法で予測し，これらの関連語を用いてラベルなし文書に疑似ラベルを与え，分類器をself trainingする手法により，従来手法を上回る精度を示すことができた．(2)のキーフレーズ抽出・生成は，訓練データなしの条件に対し，マスク言語モデルと生成型言語モデルの２つの手法を組み合わせた方法が有効であることを示した．(3)の知識グラフの構造的拡張は，Wikipediaのリストとカテゴリーがどのような意味的な型を持つ要素からなるかを判定する問題について，知識グラフの構造と言語モデルを組み合わせた手法の開発を行った．

从维基百科等知识存储内容中提取结构数据作为知识图谱，用于对搜索结果进行分类和各种知识处理。为了丰富知识图谱，需要通过从维基百科、推文和文档中提取新知识来扩展知识图谱，而要做到这一点，就需要综合分析网页内容的结构信息和文本信息。是一种需要。在本研究中，我们重点关注三个任务：（1）基于少量训练数据的多标签文档分类任务，（2）使用经过训练的语言模型提取和生成关键短语，以及（3）知识的结构扩展目的是开发一种基于对主题的文本和图形结构的深入分析的新信息提取方法。今年，关于（1），我们将引入完全不给出训练数据的严格条件，即仅类名分类，这是零样本并且只有标签名称的文本和一组文档我已经解决了这个问题。这里我们正在考虑多类分类问题。通过使用一种称为提示调整的方法来预测与类名相关的相关单词，使用这些相关单词为未标记的文档提供伪标签，并自我训练分类器，我们已经实现了比传统方法更高的准确性。 。对于（2）中的关键短语提取和生成，我们证明了一种结合两种方法（掩码语言模型和生成语言模型）的方法对于没有训练数据的情况是有效的。 （3）知识图谱的结构扩展涉及开发一种结合知识图谱和语言模型的方法来解决我所做的确定维基百科列出的元素和类别所包含的语义类型的问题。

项目成果

Utilizing Keyphrase Generation and Semantic Similarity for Extreme Multi- Label Text Classification

利用关键短语生成和语义相似性进行极端多标签文本分类

• 发表时间: 2023
• 作者: Dai Xiangting;Mizuho Iwaihara
• 通讯作者: Mizuho Iwaihara

Extractive Summarization Utilizing Keyphrases by Finetuning BERT-Based Model

通过微调基于 BERT 的模型，利用关键短语进行提取摘要

• 发表时间: 2022
• 作者: Xiaoye Wang;Mizuho Iwaihara
• 通讯作者: Mizuho Iwaihara

Unsupervised Keyphrase Generation by Utilizing Masked Words Prediction and Pseudo-label BART Finetuning

利用屏蔽词预测和伪标签 BART 微调来生成无监督关键词

• 发表时间: 2022
• 作者: Xiaoye Wang;Mizuho Iwaihara;Yingchao Ju and Mizuho Iwaihara
• 通讯作者: Yingchao Ju and Mizuho Iwaihara

Capsule Network Over Pre-Trained Language Model and User Writing Styles for Authorship Attribution on Short Texts

• DOI: 10.1145/3562007.3562027
• 发表时间: 2022-08
• 期刊: Proceedings of the 2022 3rd International Conference on Control, Robotics and Intelligent System
• 作者: Zeping Huang;M. Iwaihara

Mapping Wikipedia Categories and Lists to DBPedia Ontology Based on Structural and Semantic Features

基于结构和语义特征将 Wikipedia 类别和列表映射到 DBPedia 本体

• 发表时间: 2023
• 作者: Zhang Zhenyang;Wang Zhaoyi;Mizuho Iwaihara
• 通讯作者: Mizuho Iwaihara