Procedural Text Generation from Instructional Videos

从教学视频生成程序文本

基本信息

批准号：
22KJ1666
负责人：
西村太一
金额：
$ 1.41万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

本研究の目的は作業映像から手順書を生成することである。これを達成するために、(1) 映像中のイベントから正しい文を生成する手法の確立、 (2) 映像からイベントと文を同時学習する手法の提案, (3) 別ドメインへの適用を掲げて研究に取り組んでいる。このうち、(1)は昨年度に終えた。(2), (3)について集中的に今年度取り組んだ。まず、(2)について述べる。(2)の類似課題として、コンピュータビジョンの領域ではDense video captioning (DVC)という課題がある。この課題と入出力は共通しているが、DVCでは映像中から重要なイベントを徹底的に検出するという特徴がある。しかし、我々の課題では、イベントを過不足なく抽出して文を生成したい。この課題の違いに目をつけ、DVCの出力から正しい組み合わせになるようにイベントを選ぶ手法を開発した。(3)については、後輩の学生と共に、大阪医科薬科大学協力のもと撮影を始めた。撮影したデータセットを細かく分析し、BioVL2データセットと名付けた。このデータセットをもとに、応用課題として実験映像からプロトコルを生成する課題に取り組み、現時点の到達点について議論した。

本研究的目的是从工作视频生成程序手册。为了实现这一目标，我们的目标是（1）建立一种从视频中的事件生成正确句子的方法，（2）提出一种同时从视频中学习事件和句子的方法，以及（3）将它们应用到其他领域。关于研究。其中，(1)已于去年完成。今年我们的重点是（2）和（3）。首先，我们来讨论(2)。与（2）类似，计算机视觉领域存在一个称为密集视频字幕（DVC）的问题。尽管此问题和输入/输出很常见，但 DVC 的独特之处在于它彻底检测视频中的重要事件。然而，在我们的任务中，我们希望通过提取适量的事件来生成句子。我们专注于这些问题的差异，并开发了一种从 DVC 输出中选择事件以创建正确组合的方法。关于（3），我与大阪医科药科大学合作，和我的三年级学生一起开始拍摄。对拍摄的数据集进行了详细分析，并将其命名为BioVL2数据集。基于该数据集，我们解决了从实验视频生成协议的挑战作为应用挑战，并讨论了当前的进展。

项目成果

期刊论文数量（12）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Egocentric Biochemical Video-and-Language Dataset

以自我为中心的生化视频和语言数据集

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Nishimura Taichi;Sakoda Kojiro;Hashimoto Atsushi;Ushiku Yoshitaka;Tanaka Natsuko;Ono Fumihito;Kameko Hirotaka;Mori Shinsuke
通讯作者：
Mori Shinsuke

State-aware video procedural captioning

DOI：
10.1007/s11042-023-14774-7
发表时间：
2021-10
期刊：
Multimedia Tools and Applications
影响因子：
3.6
作者：
Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori
通讯作者：
Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori

Recipe Generation from Unsegmented Cooking Videos

DOI：
10.48550/arxiv.2209.10134
发表时间：
2022-09
期刊：
ACM Transactions on Multimedia Computing, Communications and Applications
影响因子：
0
作者：
Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori
通讯作者：
Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori

BioVL2データセット: 生化学分野における一人称視点の実験映像への言語アノテーション

BioVL2数据集：生物化学第一人称实验视频的语言注释