大規模映像中の物体検索技術に関する研究とその放送映像アーカイブへの応用

大规模视频对象检索技术研究及其在广播视频档案中的应用

基本信息

批准号：
17J08378
负责人：
日並遼太
金额：
$ 1.22万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-04-26 至 2019-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J08378/
关键词：
画像検索

项目摘要

(1) 自然言語によるスケーラブルな物体検索まず、自然言語をクエリとして、大規模画像データベースから高速に物体を検出する手法を提案した。自然言語による物体検出では、一般のクラスが限定された物体検出と異なり、検出器を学習するための負例を集めるのが困難であるという問題がある。これを解決するために、言語情報を効果的に使うことで良い負例を選択する手法を提案した。この技術と従来提案した索引技術とを組み合わせることで、高速かつ高精度に、従来不可能であった自然言語による物体の検索および物体位置推定を実現した。(2) 物体間の位置関係に基づく画像検索システム上で提案した物体検索の手法を拡張し、複数物体と物体間の関係性を用いた検索システムを開発した。まず、物体位置の制約に基づく、複数物体間の位置関係を指定できる検索手法を提案した。また、対話的なインターフェースと位置関係の自動推薦システムにより、物体間の複雑な位置関係を直感的に指定できる検索システムを実現した。提案されたシステムは従来の画像検索では困難であった複雑による意図による検索が可能であることを実験により示した。(3) トレンド・未知物体検出技術最後に大規模な画像・映像データベースからのトレンドとなる物体をマイニングする手法を提案した。従来の自動でトレンド検出手法の大半はテキスト情報を使ったものであったのに対し、提案手法では画像などの視覚情報のデータベースからトレンドを発見可能である。物体の時系列上における出現頻度の急上昇に着目し、そのバースト度を最大化するような物体を発見する手法を提案し、高い精度でトレンドが発見できることを示した。また、実際にテレビ放送やソーシャルメディアのデータを対象とした実験により、ある期間で急激に話題になったトレンドが発見できることを示した。

（1）首先通过自然语言搜索可扩展的对象搜索，一种使用自然语言作为查询的大型图像数据库以高速检测对象的方法。在自然语言中的对象检测的情况下，很难收集负面示例来学习检测器，这与普通类的有限对象检测不同。为了解决这个问题，我们提出了一种方法，通过有效地使用语言信息来选择一个好的负面示例。通过将这项技术与过去提出的索引技术相结合，它已经实现了对物体和对象位置的搜索，而对象和对象位置过去不可避免地是不可避免的。（2）基于对象之间的位置关系在图像搜索系统上提出的对象搜索方法的扩展，并使用多个对象与对象之间的关系开发了搜索系统。首先，我们提出了一种搜索方法，可以根据对象位置的限制指定多个对象之间的位置关系。此外，直观地指定对象之间的复杂位置关系的搜索系统由接口接口和与位置相关的自动推荐系统实现。实验表明，可以通过常规图像搜索困难的复杂意图来搜索所提出的系统。（3）趋势和未知的身体检测技术最后，我们提出了一种挖掘大型图像 /视频数据库的方法。大多数常规趋势检测方法都使用了文本信息，而建议方法可以从图像等视觉信息数据库中找到趋势。为了关注时间序列中外观频率的快速上升，他提出了一种方法，以发现一种最大化其爆发度的对象，表明可以高精度地发现趋势。此外，针对电视广播和社交媒体数据的实验可以发现在一定时间内已成为热门话题的趋势。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Region-Based Image Retrieval Revisited

DOI：
10.1145/3123266.3123312
发表时间：
2017-09
期刊：
Proceedings of the 25th ACM international conference on Multimedia
影响因子：
0
作者：
Ryota Hinami;Yusuke Matsui;S. Satoh
通讯作者：
Ryota Hinami;Yusuke Matsui;S. Satoh

Joint Detection and Recounting of Abnormal Events by Learning Deep Generic Knowledge

DOI：
10.1109/iccv.2017.391
发表时间：
2017-01-01
期刊：
2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)
影响因子：
0
作者：
Hinami, Ryota;Mei, Tao;Satoh, Shin'ichi
通讯作者：
Satoh, Shin'ichi

Large-Scale R-CNN with Classifier Adaptive Quantization

DOI：
10.1007/978-3-319-46487-9_25
发表时间：
2016-10
期刊：
影响因子：
0
作者：
Ryota Hinami;S. Satoh
通讯作者：
Ryota Hinami;S. Satoh

Tracked Instance Search

DOI：
10.1109/icassp.2018.8461378
发表时间：
2018-03
期刊：
2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
影响因子：
0
作者：
Andreu Girbau;Ryota Hinami;S. Satoh
通讯作者：
Andreu Girbau;Ryota Hinami;S. Satoh

Discriminative Learning of Open-Vocabulary Object Retrieval and Localization by Negative Phrase Augmentation