大規模映像中の物体検索技術に関する研究とその放送映像アーカイブへの応用

大规模视频对象检索技术研究及其在广播视频档案中的应用

• 批准号: 17J08378
• 负责人: 日並 遼太
• 金额: $ 1.22万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-26 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J08378/
• 关键词: 画像検索; 画像検索

(1) 自然言語によるスケーラブルな物体検索まず、自然言語をクエリとして、大規模画像データベースから高速に物体を検出する手法を提案した。自然言語による物体検出では、一般のクラスが限定された物体検出と異なり、検出器を学習するための負例を集めるのが困難であるという問題がある。これを解決するために、言語情報を効果的に使うことで良い負例を選択する手法を提案した。この技術と従来提案した索引技術とを組み合わせることで、高速かつ高精度に、従来不可能であった自然言語による物体の検索および物体位置推定を実現した。(2) 物体間の位置関係に基づく画像検索システム上で提案した物体検索の手法を拡張し、複数物体と物体間の関係性を用いた検索システムを開発した。まず、物体位置の制約に基づく、複数物体間の位置関係を指定できる検索手法を提案した。また、対話的なインターフェースと位置関係の自動推薦システムにより、物体間の複雑な位置関係を直感的に指定できる検索システムを実現した。提案されたシステムは従来の画像検索では困難であった複雑による意図による検索が可能であることを実験により示した。(3) トレンド・未知物体検出技術最後に大規模な画像・映像データベースからのトレンドとなる物体をマイニングする手法を提案した。従来の自動でトレンド検出手法の大半はテキスト情報を使ったものであったのに対し、提案手法では画像などの視覚情報のデータベースからトレンドを発見可能である。物体の時系列上における出現頻度の急上昇に着目し、そのバースト度を最大化するような物体を発見する手法を提案し、高い精度でトレンドが発見できることを示した。また、実際にテレビ放送やソーシャルメディアのデータを対象とした実験により、ある期間で急激に話題になったトレンドが発見できることを示した。

（1）首先使用自然语言可扩展的对象搜索，我们提出了一种使用自然语言作为查询的大图像数据库快速检测对象的方法。与自然语言中的对象检测不同，与具有有限类别的对象检测不同，很难为学习检测器收集负面示例。为了解决这个问题，我们提出了一种通过有效使用语言信息来选择一个良好负面示例的方法。通过将该技术与先前提出的索引技术相结合，我们使用自然语言实现了快速准确的对象搜索和对象位置估计，这是以前不可能的。 （2）我们已经根据对象之间的位置关系扩展了在图像搜索系统上提出的对象搜索方法，并使用多个对象和对象之间的关系开发了搜索系统。首先，我们提出了一种搜索方法，该方法允许根据对象位置约束指定多个对象之间的位置关系。此外，已经实现了用于位置关系的交互式接口和自动推荐系统，从而可以直观地指定对象之间的复杂位置关系。实验已经证明了所提出的系统，即具有复杂意图的搜索，这在常规图像搜索方面很难进行。 （3）趋势和未知对象检测技术最后，我们提出了一种从大规模图像和视频数据库中采矿时尚对象的方法。虽然大多数用于检测文本信息的常规自动趋势检测方法，但该方法允许从图像等视觉信息数据库中发现趋势。为了关注时间序列中物体外观频率的突然增加，我们提出了一种发现最大化其突发水平的对象的方法，表明可以高精度地发现趋势。此外，使用电视广播和社交媒体数据的数据进行的实验表明，在一定时间段内突然成为热门话题的趋势可以发现。