Development of Image Retrieval System by Considering People Co-occurrence Relations through Relevance Feedback

通过相关性反馈考虑人物同现关系的图像检索系统开发

• 批准号: 23700117
• 负责人: NITTA Naoko
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23700117/
• 关键词: 人物画像検索; 適合性フィードバック; 共起関係; クラス分類; 能動学習; 構造化; 人物の共起関係

Group photos often contain socially related people such as family and friends. We developed a system for retrieving images containing a specific target person from a group photo collection by considering people co-occurrence relations. A Bag of People (BoP) feature, which represents both the facial appearances of persons and their co-occurrence relations, is extracted from each image. By using the BoP features, a classifier for classifying images into two classes, images containing the target person and other images, can be trained. The images determined to contain the target person by the classifier are presented to the user as the retrieval results. The classifier is re-trained by a small number of correctly retrieved images which are selected by the user. When retrieving images of 32 persons from 1791 group photos, the mean average precision improved from 20% to 70% after five feedback iterations.

集体照片通常包含与社会相关的人，例如家人和朋友。我们开发了一个系统，通过考虑人物共现关系，从集体照片集中检索包含特定目标人物的图像。从每张图像中提取代表人的面部外观及其共现关系的人包（BoP）特征。通过使用BoP特征，可以训练用于将图像分类为两类（包含目标人物的图像和其他图像）的分类器。分类器确定包含目标人物的图像作为检索结果呈现给用户。分类器通过用户选择的少量正确检索的图像进行重新训练。当从 1791 张集体照片中检索 32 个人的图像时，经过 5 次反馈迭代后，平均精度从 20% 提高到 70%。

项目成果

人物共起特徴量を用いたクラス分類に基づく集合写真の検索

使用人类共现特征进行基于类分类的集体照片搜索

• 发表时间: 2012
• 期刊: 画像の認識理解シンポジウム (MIRU2012)予稿集
• 作者: 志水和也;中井優次朗;新田直子;馬場口登
• 通讯作者: 馬場口登

Learning People Co-occurrence Relations by Using Relevance Feedback for Retrieving Group Photos

通过使用相关性反馈来检索集体照片来学习人物共现关系

• DOI: 10.1145/1991996.1992053
• 发表时间: 2011
• 期刊: Proc. of ACM International Conference on Multimedia Retrieval (ICMR2011)
• 作者: K. Shimizu;N. Nitta;and N. Babaguchi
• 通讯作者: and N. Babaguchi

集合写真データベースの構造化に基づく画像検索

基于合影数据库构建的图像搜索

• 发表时间: 2014
• 作者: 中井優次朗;新田直子;馬場口登
• 通讯作者: 馬場口登

集合写真データベースの構造化に基づく画像図6 : ユーザのフィードバックの正答率図7 : ユーザの誤判定の影響評価結果検索

基于合影数据库构建的图像 图6：用户反馈正确回答率 图7：用户错误判断影响评价结果搜索

• 发表时间: 2014
• 作者: 中井優次朗;新田直子;馬場口登
• 通讯作者: 馬場口登

コミュニティに基づく画像コレクションの構造化

构建基于社区的图像集合

• 发表时间: 2012
• 期刊: 電子情報通信学会2012年総合大会講演論文集
• 作者: 中井優次郎;新田直子;馬場口登
• 通讯作者: 馬場口登