Knowledge inference system for robot integrating commonsense in natural language with real-world observation

将自然语言常识与现实世界观察相结合的机器人知识推理系统

基本信息

批准号：
22H03654
负责人：
吉野幸一郎
金额：
$ 11.07万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。この実現のため設定した、「ロボットが動作する実世界での観測の接地・推論と知識基盤の更新」、「実世界でのコンテキストを反映した埋め込み表現の学習」、「実世界を埋め込み表現で表現した新しい推論基盤の構築」の研究項目のうち、本年度は「ロボットが動作する実世界での観測の接地・推論と知識基盤の更新」に取り組んだ。具体的には、Hello Robot Stretchを用いて、このロボットで可能な補助タスクにおける対話データ収集を行った。この対話データでは、ユーザの意図が曖昧に設定し、周囲の状況を利用して推論を利かせないと必要とされる補助行動を導けないような設定を行った。この対話データを単純な機械学習ベースの手法で分類したところその精度は22%程度であり、推論等を用いないと解くことが困難なデータセットが構築されたことが確認された。加えてデータ分析も行い、どのようなモダリティから得られるどのような事態がこうしたロボットの行動推定タスクに貢献するのか検討した。また、上記のデータ上で知識推論・常識推論を行い、実世界の観測から適切な行動を論理的に導くための枠組み構築を行った。

通过将使用文本描述的知识的知识推理引入到在人类生活空间的现实世界中执行辅助任务的机器人，我们将构建一个能够进行各种常识推理的智能机器人系统。在这个项目中，我们将研究一个框架，允许机器人根据在现实世界中观察到的情况灵活地更新其知识推理库，并允许机器人本身根据自己的经验更新其知识推理。为了实现这一目标，我们建立了“在机器人操作的现实世界中进行基础观察和推理，并更新知识库”，“学习反映现实世界背景的嵌入式表示”，以及“使用今年，在“构建表达机器人的新型推理平台”的研究项目中，我们致力于“在机器人运行的现实世界中进行观察和推理，并更新知识库”。 ”具体来说，我们使用 Hello Robot Stretch 来收集该机器人可以执行的辅助任务的交互数据。在该对话数据中，用户的意图被设置为模糊的，并且进行设置使得除非用户利用周围的情况进行推断，否则无法导出必要的辅助行为。当使用简单的基于机器学习的方法对这些交互数据进行分类时，准确率约为 22%，这证实了构建了一个在不使用推理的情况下难以解决的数据集。此外，我们还进行了数据分析，并检查了从哪些模式中获得的哪些情况有助于估计机器人行为的任务。此外，我们对上述数据进行了知识推理和常识推理，并构建了一个框架，可以从现实世界的观察中逻辑地得出适当的行动。

项目成果

期刊论文数量（12）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Reflective Action Selection Based on Positive-Unlabeled Learning and Causality Detection Model

基于正向无标记学习和因果关系检测模型的反思性行动选择

DOI：
10.1016/j.csl.2022.101463
发表时间：
2023
期刊：
Computer Speech & Language
影响因子：
4.3
作者：
5.Shohei Tanaka;Koichiro Yoshino;Katsuhito Sudoh and Satoshi Nakamura
通讯作者：
Katsuhito Sudoh and Satoshi Nakamura

説明文生成を用いた動作行動予測

使用解释性文本生成进行运动行为预测

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
中村泰貴;河野誠也;湯口彰重;川西康友;吉野幸一郎
通讯作者：
吉野幸一郎

Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System

基于句子结构的伪歧义和澄清问题走向澄清问答系统

DOI：
10.18653/v1/2022.dialdoc-1.4
发表时间：
2022
期刊：
In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop
影响因子：
0
作者：
42.Yuya Nakano;Seiya Kawano;Koichiro Yoshino;Katsuhito Sudoh and Satoshi Nakamura
通讯作者：
Katsuhito Sudoh and Satoshi Nakamura

正準角および部分空間に基づく BERTScore の拡張

基于规范角和子空间的 BERTcore 扩展