分類の不確かさに基づく未知物体ありシーングラフ生成による頑健なシーン認識

基于分类不确定性，使用未知对象的场景图生成进行鲁棒场景识别

• 批准号: 22K17920
• 负责人: 薗頭 元春
• 金额: $ 3万
• 依托单位: Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17920/
• 关键词: シーングラフ生成; 未知物体検出; Open-set学習; コンピュータビジョン; シーングラフ生成; 未知物体検出; Open-set学習; コンピュータビジョン

本研究は学習時に教示されていない未知物体を含む物体間の関係を検出できる，頑健なシーングラフ生成の実現を目的とする．最初の技術的目標である未知物体ありシーングラフ生成の評価プロトコルの確立については，本年度以前の研究準備期間に学習用データセットの作成・評価尺度の考案・ベースライン手法の比較実験は概ね完了し，その成果は雑誌論文として掲載されるに至った (Sonogashira et al., "Towards Open-Set Scene Graph Generation with Unknown Objects," IEEE Access, 2022年1月)．そこで本年度は，次の目標である分類の不確かさに基づく未知判定による未知物体の検出に取り組んだ．ここでは各画像領域の既知物体への分類において得られるクラス所属確率を不確かさとする．具体的な課題として，未知物体と背景（非物体）の領域は共に既知物体と画像特徴が相違し不確かさが高くなるため，不確かさのみからは区別が困難であった．そこで背景は他の領域と関係を持たないという制約を活用し，分類から得られる物体・関係の存在確率を領域・領域ペアから成るグラフ上の変分ベイズ推論によって伝播して反復的に更新することで，不確かさの高い領域を未知物体と背景に分けることのできる未知判定技法を開発した．実験により，単に不確かさが閾値以上ならば未知とするベースライン技法以上の性能を達成した．また複数の代表的なシーングラフ生成モデルと組み合わせた場合の性能向上を確認し，幅広いモデルに適用できる汎用性の高い技法であることも示した．その成果は論文誌に投稿（2023年1月）し，現在査読中である．

这项研究旨在实现强大的场景图生成，该图允许检测包含在学习过程中未知对象的对象之间的关系。关于建立评估协议的第一个技术目标，以生成具有未知物体的场景图，创建培训数据集，设计评估量表以及在今年的研究准备期间比较基线方法的第一个技术目标，结果通常已经完成，并且结果已发布为期刊文章（Sonogashira等人访问式图2），并将其发表为202个访问。因此，今年我们使用基于下一个目标的不确定性（分类的不确定性）来检测未知对象。在这里，将每个图像区域分类为已知对象时获得的类隶属概率是不确定的。作为一个具体的问题，未知的对象和背景（非对象）区域在已知的对象和图像特征上有所不同，从而使它们与单独的不确定性区分开。因此，我们开发了一种未知的判断技术，该技术允许通过传播对物体存在的存在的可能性和通过变异贝叶斯推断从分类中获得的概率分离为未知的对象和背景的区域，并在由区域和区域对组成的图形上进行分类和迭代更新。如果不确定性高于阈值，则实验已经在未知基线技术之上实现了性能。当与多个典型场景图生成模型结合使用时，我们还确认了性能的改善，还表明它是一种高度用途的技术，可以应用于广泛的模型。结果已提交给杂志（2023年1月），目前正在审查中。