技術文書中の画像と説明文の対応付けによる知識体系の構築

通过关联技术文档中的图像和解释性文本来构建知识体系

基本信息

批准号：
22K12154
负责人：
難波英嗣
金额：
$ 2.66万
依托单位：
Chuo University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

幅広い分野の一連の手続きに関する知識をテキストから自動抽出し、それらを体系化することを目指している。2022年度は、(1)特許中の図表の自動分類、(2)自然言語文の構造解析、(3)多言語(日英中)上位下位関係の抽出に取り組んだ。(1)について、特許中に記載される図表画像の中からフローチャートを自動抽出することで、フローチャート画像とその説明文の11,188対から構成されるコーパスを構築した。このコーパスの有効性を確認するため、フローチャート画像からの説明文の自動生成を行った。説明文の生成では、フローチャート画像からGoogle Cloud Vision APIを用いて文字列を抽出し、この文字列から説明文を自動生成するために、Text-To-Text Transfer Transformer(T5)を用いて学習した。実験の結果、複雑な形状のフローチャートについては課題が残るものの、質の高い説明文が生成できることが確認できた。(2)について、米国特許を対象に、特許請求項から主要部、構成要素、手順に関する文字列を抽出する手法について検討した。抽出には、T5、Bi-LSTM-CRF、CRFを用いた。実験の結果、T5が最も優れており、特に再現率を大幅に改善できることがわかった。(3)について、リンク予測モデルによる日英中上位下位関係の自動抽出を行った。まず、GANを用いて上位下位関係にある用語を識別する。次に、前の手順で構築された上位下位関係のグラフに対し、ConvEとGraphSAGEを組み合わせたリンク予測を行い、本来であれば上位下位関係にあるべき欠落したエッジを予測する。提案手法の有効性を確認するために行った実験では、GANを用いた上位下位関係の識別およびConvEとGraphSAGEを組み合わせたリンク予測の両方において、提案手法が従来手法よりも優れていることがわかった。

目的是自动从文本中提取有关一系列过程的知识并将其系统化。在2022财政年度中，我们研究了（1）专利图表的自动分类，（2）自然语言句子的结构分析，以及（3）提取多语言（日语，英语和中文）高级关系。关于（1），通过从专利中描述的图表和图像中自动提取流程图，由11,188对流程图图像组成的语料库构建了一个及其描述。为了确认该语料库的有效性，从流程图图像中的描述自动生成。在生成描述时，使用Google Cloud Vision API从流程图图像中提取了一个字符串，为了自动从该字符串生成描述，使用文本转换变压器（T5）来学习。该实验证实，可以生成高质量的解释性文本，尽管与复杂形状的流程图仍然存在问题。关于（2），我们研究了一种从索赔中提取与主要部分，组成部分和程序相关的字符字符串的方法，该方法参考了美国专利。为了提取，使用T5，BI-LSTM-CRF和CRF。实验表明T5是最好的，并且可以显着改善回忆。关于（3），我们使用链接预测模型自动提取日语，英语和中文和低级关系。首先，使用GAN确定高级关系中的术语。接下来，在上一步中构建的上层和下部关系的图用于使用凸和图的组合预测链接，并且预测通常在上层和下部关系中的缺失边缘。进行的实验以确认提出的方法的有效性表明，在使用GAN鉴定上和下关系的情况下，提出的方法优于常规方法，并使用凸和图的组合进行了链接预测。