分類の不確かさに基づく未知物体ありシーングラフ生成による頑健なシーン認識

基于分类不确定性，使用未知对象的场景图生成进行鲁棒场景识别

基本信息

批准号：
22K17920
负责人：
薗頭元春
金额：
$ 3万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究は学習時に教示されていない未知物体を含む物体間の関係を検出できる，頑健なシーングラフ生成の実現を目的とする．最初の技術的目標である未知物体ありシーングラフ生成の評価プロトコルの確立については，本年度以前の研究準備期間に学習用データセットの作成・評価尺度の考案・ベースライン手法の比較実験は概ね完了し，その成果は雑誌論文として掲載されるに至った (Sonogashira et al., "Towards Open-Set Scene Graph Generation with Unknown Objects," IEEE Access, 2022年1月)．そこで本年度は，次の目標である分類の不確かさに基づく未知判定による未知物体の検出に取り組んだ．ここでは各画像領域の既知物体への分類において得られるクラス所属確率を不確かさとする．具体的な課題として，未知物体と背景（非物体）の領域は共に既知物体と画像特徴が相違し不確かさが高くなるため，不確かさのみからは区別が困難であった．そこで背景は他の領域と関係を持たないという制約を活用し，分類から得られる物体・関係の存在確率を領域・領域ペアから成るグラフ上の変分ベイズ推論によって伝播して反復的に更新することで，不確かさの高い領域を未知物体と背景に分けることのできる未知判定技法を開発した．実験により，単に不確かさが閾値以上ならば未知とするベースライン技法以上の性能を達成した．また複数の代表的なシーングラフ生成モデルと組み合わせた場合の性能向上を確認し，幅広いモデルに適用できる汎用性の高い技法であることも示した．その成果は論文誌に投稿（2023年1月）し，現在査読中である．

这项研究旨在实现顽固的场景图生成，该图可以检测到包括未知对象在内的对象之间的关系，而这些对象在学习时没有教授。关于建立第一个技术目标的评估协议，创建场景图的创建，学习数据集的创建，设计评估量表以及在今年之前的研究准备期间的基线方法的比较实验。结果已出版为杂志论文（Sonogashira等人，“迈向带有未知对象的开放式场景图，” IEEE Access，2022年1月）。因此，今年，我们基于下一个目标的不确定性来通过未知的判断来检测未知对象。在这里，在每个图像区域分为已知对象中获得的类别获得的类的概率尚不确定。作为一个具体的问题，很难仅区分未知对象和背景（非对象）的不确定性和图像特征，并且图像是不同的，并且不确定性增加了。因此，背景是利用它与其他区域没有关系的限制，并且通过传输图对的变体而提出了从分类获得的对象和关系的可能性，该变体由区域和区域对组成，并续订了。因此，我们已经开发了一种未知的判断技术，可以将高度不确定的区域分为未知的物体和背景。实验比基线技术实现更多，而基础线技术是否不知道不确定性大于阈值。他还证实了与多个典型场景图生成模型结合使用时性能的改善，并表明它是一种高度的技术，可以应用于广泛的模型。结果发布在《论文杂志》（2023年1月）中，目前正在审查中。