Management and Integration for Linked Open Multimedia Data

链接的开放多媒体数据的管理和集成

• 批准号: 21H03555
• 负责人: 駒水 孝裕
• 金额: $ 10.98万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03555/
• 关键词: データ統合; マルチメディア; テキスト; Linked Open Data; 異種データ; テキスト分類; 画像キャプショニング; グラフデータベース; 不均衡データ; データ分類; 異種データ統合; データ循環

本研究は，様々な種類のデータが公開されており，テキスト，画像，動画などのコンテンツが Web 上に散在している現状に対して，データの統合管理を実現することが大きな目標である．この目標に対して，データ統合と横断的な検索を実現することが目的である．本年度は，データ統合技術に関連して，(!) 意図の読みにくいテキストを効果的に分類し，テキストを効果的に扱う研究，(2) 画像からその内容をデータ化する画像キャプショニングに関する研究を行った．また，異種データの横断的な検索については，最終的に LOD と同系統のグラフデータベースでデータを構成することを見据え，(3) グラフデータベースにおける効率的な問合せに関する研究を行った．具体的には，(1) テキスト分類において，分類の手がかりとなる情報を分類モデルに取り込む方法として，マルチタスク学習の方法論を活用した手法を提案した．この研究は，多クラス分類問題において，クラスごとのインスタンスの出現頻度が大きくばらつく不均衡なデータにおいて特に，最新研究よりも良い性能をしめした．(2) 画像データの内容を自動的に生成する画像キャプショニングにおいて，キャプションの内容が学習データに依存しすぎてしまう問題に対して，キャプションの内容を被写体に応じて調整する枠組みに関する研究を行った．これにより，画像に含まれる情報を様々な粒度で取得可能となり，様々な分析などに応用可能となる．また，画像単体では文脈を持たないキャプションが作成できるが，他の関連する画像と合わせてキャプショニングすることで，共通点などの文脈から画像集合に対するキャプショニング手法を構築した．(3) グラフデータベースにおいて，経路に基づく検索は多く用いられおり，効率的な検索システムがもとめられている．これに対し，適切な索引を構築することで効率的な検索を実現する研究を行った．

在这项研究中，发布了各种类型的数据，主要目标是实现当前情况的数据集成管理，其中内容，图像和视频散布在网络上。目的是实现数据集成并跨缺乏搜索此目标。在这个财政年度，与数据综合技术有关，（！）有效地对（！）文本进行了分类，并且（2）对图像容量进行了转换图像的研究。此外，对于对异质数据的交叉特异性搜索，我们检查了图数据库中的有效查询，以期待与LOD同一系统的图形数据库中数据组成的组合。具体来说，（1）在文本分类中，我们提出了一种利用多任务方法的方法，作为将分类线索的信息合并到分类模型中的方法。这项研究比最新研究特别好，尤其是在多类分类问题中，尤其是在具有各种情况的不幸数据中。 （2）自动生成图像数据的内容的图像容量，对根据主题的标题内容进行了对标题的内容进行调整的框架研究，因为标题的内容过多地取决于学习数据。结果，图像中包含的信息可以在各种粒度下获得，并且可以应用于各种分析。此外，单独的图像可以创建没有上下文的标题，但是通过与其他相关图像结合使用的容量，图像集的容量方法是从上下文（例如共同点）构建的。 （3）在图形数据库中，经常使用基于路由的搜索，并安装了有效的搜索系统。另一方面，进行了研究以通过构建适当的索引来实现有效的搜索。

项目成果

Action Semantic Alignment for Image Captioning

• DOI: 10.1109/mipr54900.2022.00041
• 发表时间: 2022-08
• 期刊: 2022 IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR)
• 作者: Da Huo;Marc A. Kastner;Takahiro Komamizu;I. Ide

固有表現タグおよびPOSタグによる交換制約付きデータ拡張手法

使用命名实体标签和POS标签的具有交换约束的数据扩展方法

• 发表时间: 2023
• 作者: 寺本 優香;駒水 孝裕 ;波多野 賢治
• 通讯作者: 波多野 賢治

Multi-task Learning-based Text Classification with Subword-Phrase Extraction

• DOI: 10.1145/3568562.3568635
• 发表时间: 2022-12
• 期刊: Proceedings of the 11th International Symposium on Information and Communication Technology
• 作者: Yusuke Kimura;Takahiro Komamizu;K. Hatano

Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach

通过组合场景图表示方法为图像集合添加字幕

• DOI: 10.1007/978-3-031-27077-2_14
• 发表时间: 2023
• 期刊: Lecture Notes in Computer Science book series
• 作者: Phueaksri Itthisak;Kastner Marc A.;Kawanishi Yasutomo;Komamizu Takahiro;Ide Ichiro
• 通讯作者: Ide Ichiro

文書分類における効果的なマルチタスク学習のための汎用的サブタスクの要件分析

文档分类中有效多任务学习的通用子任务的需求分析

• 发表时间: 2023
• 作者: 木村 優介;駒水 孝裕 ;波多野 賢治
• 通讯作者: 波多野 賢治