拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築

使用扩展时空场景图构建场景识别/描述基础设施，包括未知对象

• 批准号: 21H03519
• 负责人: 川西 康友
• 金额: $ 9.82万
• 依托单位: Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03519/
• 关键词: 拡張時空間シーングラフ; 未知物体検出; 未知物体対応付け; 未知物体; セグメンテーション; シーングラフ; キャプショニング; データセット生成

今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．

今年，我们一直在为包括未知对象的图像进行场景图生成和细分技术的更高精度。我们还使用场景图检查了各种应用程序。首先，我们使用去年构建的评估方法在现场生成技术的高精油中构建了提案方法的进步。此结果当前正在发布。另一方面，数据集是根据去年研究的数据集构造组织的，以在未知的身体区域进行细分，并使用数据集对未知对象进行了研究。可以分割的个人细分和背景建模技术的全盘细分组合，提出了拟议的技术来提取现场出现的未知身体区域，并在国际会议上宣布并赢得了最佳纸质奖。此外，作为场景图估计的应用，提出了一种成像的解释方法。为了集成从多个图像获得的信息，研究了整合从每个图像获得的场景图的方法。基于从每个图像获得的场景图的节点之间的对应关系集成了图，并生成一个图。目前，提出了一种与外部知识集成和集成对象的方法来集成和集成。这种成像集解释方法的解释在国际会议上宣布。此外，今年，我们在包括国际会议在内的多次会议上发表了邀请演讲，并介绍了场景的生成及其应用，包括该项目中的未知对象。

项目成果

A preliminary study on view independent panoptic scene change detection

视角无关的全景场景变化检测初步研究

• DOI: 10.1117/12.2666872
• 发表时间: 2023
• 期刊: International Workshop on Advanced Imaging Technology (IWAIT)
• 作者: Li Jiaxin;Kawanishi Yasutomo;Deguchi Daisuke;Murase Hiroshi
• 通讯作者: Murase Hiroshi

Towards captioning an image collection using scene graph

使用场景图为图像集添加标题

• 发表时间: 2022
• 作者: Itthisak Phueaksri;Marc Aurel Kastner;Yasutomo Kawanishi;Takahiro Komamizu;Ichiro Ide
• 通讯作者: Ichiro Ide

Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach

通过组合场景图表示方法为图像集合添加字幕

• DOI: 10.1007/978-3-031-27077-2_14
• 发表时间: 2023
• 期刊: Lecture Notes in Computer Science book series
• 作者: Phueaksri Itthisak;Kastner Marc A.;Kawanishi Yasutomo;Komamizu Takahiro;Ide Ichiro
• 通讯作者: Ide Ichiro

生活環境で動作するロボットにおける画像認識と3次元的理解

在生活环境中运行的机器人的图像识别和 3D 理解

• 发表时间: 2022
• 作者: 五箇 亮太;諸戸 祐哉;前田 圭介;小川 貴弘;長谷山 美紀;川西康友
• 通讯作者: 川西康友

周囲の環境を見守り、人と共存するロボット「ぶつくさ君」

“Butsukusa-kun”是一个监视周围环境并与人类共存的机器人。

• 发表时间: 2022
• 作者: 五月女絢音;金井 理;伊達宏昭;遠藤維;川西康友
• 通讯作者: 川西康友