Management and Integration for Linked Open Multimedia Data

链接的开放多媒体数据的管理和集成

• 批准号: 21H03555
• 负责人: 駒水 孝裕
• 金额: $ 10.98万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03555/
• 关键词: データ統合; マルチメディア; テキスト; Linked Open Data; 異種データ; テキスト分類; 画像キャプショニング; グラフデータベース; 不均衡データ; データ分類; 異種データ統合; データ循環

本研究は，様々な種類のデータが公開されており，テキスト，画像，動画などのコンテンツが Web 上に散在している現状に対して，データの統合管理を実現することが大きな目標である．この目標に対して，データ統合と横断的な検索を実現することが目的である．本年度は，データ統合技術に関連して，(!) 意図の読みにくいテキストを効果的に分類し，テキストを効果的に扱う研究，(2) 画像からその内容をデータ化する画像キャプショニングに関する研究を行った．また，異種データの横断的な検索については，最終的に LOD と同系統のグラフデータベースでデータを構成することを見据え，(3) グラフデータベースにおける効率的な問合せに関する研究を行った．具体的には，(1) テキスト分類において，分類の手がかりとなる情報を分類モデルに取り込む方法として，マルチタスク学習の方法論を活用した手法を提案した．この研究は，多クラス分類問題において，クラスごとのインスタンスの出現頻度が大きくばらつく不均衡なデータにおいて特に，最新研究よりも良い性能をしめした．(2) 画像データの内容を自動的に生成する画像キャプショニングにおいて，キャプションの内容が学習データに依存しすぎてしまう問題に対して，キャプションの内容を被写体に応じて調整する枠組みに関する研究を行った．これにより，画像に含まれる情報を様々な粒度で取得可能となり，様々な分析などに応用可能となる．また，画像単体では文脈を持たないキャプションが作成できるが，他の関連する画像と合わせてキャプショニングすることで，共通点などの文脈から画像集合に対するキャプショニング手法を構築した．(3) グラフデータベースにおいて，経路に基づく検索は多く用いられおり，効率的な検索システムがもとめられている．これに対し，適切な索引を構築することで効率的な検索を実現する研究を行った．

这项研究的主要目标是实现综合数据管理，以应对当前已发布各种数据的情况并散布在网络上的文本，图像和视频之类的内容。目的是实现数据集成和横截面搜索到此目标。今年，关于数据集成技术，我们对（！）进行了研究，对文本很难有效地读取和处理文本进行分类，以及（2）对图像字幕进行了（2），将内容转换为来自图像的数据。此外，考虑到异质数据的横截面搜索，我们最终对图形数据库中有效查询进行了研究，目的是在图形数据库中构建与LOD相同的数据。具体而言，在（1）文本分类中，我们提出了一种利用多任务学习方法的方法，作为将分类指南的信息合并到分类模型中的方法。这项研究表明，比多类分类问题的最新研究表现出更好的性能，尤其是在不平衡的数据中，每个班级的实例发生频率在很大程度上是不同的。 （2）在图像字幕中自动生成图像数据的内容，我们对根据主题调整字幕内容的框架进行了研究，因为标题的内容过于取决于训练数据。这允许以各种粒度获取图像中包含的信息，从而将其应用于各种分析等。此外，没有图像可以创建没有上下文的字幕，但是通过将它们与其他相关图像一起捕获，我们已经构建了一种字幕方法，用于从诸如共同点之类的上下文中的图像集。 （3）基于路由的搜索通常在图形数据库中使用，并寻求有效的搜索系统。作为回应，我们进行了研究以通过构建适当的索引来实现有效的搜索。

项目成果

Action Semantic Alignment for Image Captioning

• DOI: 10.1109/mipr54900.2022.00041
• 发表时间: 2022-08
• 期刊: 2022 IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR)
• 作者: Da Huo;Marc A. Kastner;Takahiro Komamizu;I. Ide

固有表現タグおよびPOSタグによる交換制約付きデータ拡張手法

使用命名实体标签和POS标签的具有交换约束的数据扩展方法

• 发表时间: 2023
• 作者: 寺本 優香;駒水 孝裕 ;波多野 賢治
• 通讯作者: 波多野 賢治

Multi-task Learning-based Text Classification with Subword-Phrase Extraction

• DOI: 10.1145/3568562.3568635
• 发表时间: 2022-12
• 期刊: Proceedings of the 11th International Symposium on Information and Communication Technology
• 作者: Yusuke Kimura;Takahiro Komamizu;K. Hatano

Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach

通过组合场景图表示方法为图像集合添加字幕

• DOI: 10.1007/978-3-031-27077-2_14
• 发表时间: 2023
• 期刊: Lecture Notes in Computer Science book series
• 作者: Phueaksri Itthisak;Kastner Marc A.;Kawanishi Yasutomo;Komamizu Takahiro;Ide Ichiro
• 通讯作者: Ide Ichiro

文書分類における効果的なマルチタスク学習のための汎用的サブタスクの要件分析

文档分类中有效多任务学习的通用子任务的需求分析

• 发表时间: 2023
• 作者: 木村 優介;駒水 孝裕 ;波多野 賢治
• 通讯作者: 波多野 賢治