手順文書からの知識獲得

从程序文件中获取知识

基本信息

批准号：
20H04210
负责人：
森信介
金额：
$ 11.32万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

機械による手順書の理解を目的として、我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。

我们讨论了我们提出的食谱流图的概括，目的是了解机器程序。通过使用成分作为组件（零件等），我们证明了可以编写各种过程，我们构建了Wikihow Flow图（Wikihow-FG）语料库。此外，还构建了一个应用系统。由于传统食谱是用免费的句子输入编写的，因此我们开发了使用自然语言处理技术分析过程结构的方法，但是缺乏结构化配方的正确答案数据阻碍了准确性的提高。因此，今年我们开发了一个系统，该系统允许用户直接编写结构化的配方。用户可以从提前准备的标准配方中选择最接近他们想要制作的食谱，然后仅编辑差异以几乎没有努力输入自己的食谱。明年及以后的挑战是创建此系统并构建一个结构化配方的数据集。此外，我们还研究了从专利流程图图像中自动生成解释性文本。构建解释性文本生成器包括三个步骤：（1）从流程图图像中提取字符串，（2）创建机器学习数据，以及（3）使用T5构建解释性文本生成器。使用11,188个流程图图像和解释性文本对构建了来自图像的解释性文本生成器。实验证实可以生成高质量的解释性文本。

项目成果

期刊论文数量（27）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Visual Grounding Annotation of Recipe Flow Graph

配方流程图的视觉基础注释

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
Taichi Nishimura;Suzushi Tomori;Hayato Hashimoto;Atsushi Hashimoto;Yoko Yamakata;Jun Harashima;Yoshitaka Ushiku and Shinsuke Mori
通讯作者：
Yoshitaka Ushiku and Shinsuke Mori

MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients