Knowledge inference system for robot integrating commonsense in natural language with real-world observation

将自然语言常识与现实世界观察相结合的机器人知识推理系统

基本信息

批准号：
22H03654
负责人：
吉野幸一郎
金额：
$ 11.07万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

人間の生活空間という実世界で補助タスクを行うロボットに対し、テキストで記述された知識を用いた知識推論を導入することで、様々な常識推論を可能にする知能ロボットシステムの構築を行う。この中で、実世界でロボットが観測した事物に応じて、知識推論基盤を柔軟に更新し、ロボット自身が経験から知識推論を新しくすることができる枠組みについて研究する。この実現のため設定した、「ロボットが動作する実世界での観測の接地・推論と知識基盤の更新」、「実世界でのコンテキストを反映した埋め込み表現の学習」、「実世界を埋め込み表現で表現した新しい推論基盤の構築」の研究項目のうち、本年度は「ロボットが動作する実世界での観測の接地・推論と知識基盤の更新」に取り組んだ。具体的には、Hello Robot Stretchを用いて、このロボットで可能な補助タスクにおける対話データ収集を行った。この対話データでは、ユーザの意図が曖昧に設定し、周囲の状況を利用して推論を利かせないと必要とされる補助行動を導けないような設定を行った。この対話データを単純な機械学習ベースの手法で分類したところその精度は22%程度であり、推論等を用いないと解くことが困難なデータセットが構築されたことが確認された。加えてデータ分析も行い、どのようなモダリティから得られるどのような事態がこうしたロボットの行動推定タスクに貢献するのか検討した。また、上記のデータ上で知識推論・常識推論を行い、実世界の観測から適切な行動を論理的に導くための枠組み構築を行った。

通过使用文本中描述的知识引入知识推断，将在人类生活空间的现实世界中执行辅助任务的机器人引入知识，我们将建立一个智能的机器人系统，以实现各种常识推断。在这种情况下，我们将研究一个框架，在该框架中，可以根据机器人在现实世界中观察到的事物灵活地更新知识推理基础，并允许机器人从经验中更新知识推论。在为此目的设定的研究项目中，“在现实世界中，机器人运作和更新知识基础的观察的基础和推理”，“学习反映现实世界环境的嵌入式表示”，并“建立了一个新的推论基础，以嵌入式表述表达现实世界，“今年我们在现实世界中的依据”和“在现实世界中进行了依据”的知识群体和更新的知识基础，并更新了机器人的实现和更新。具体来说，Hello Robot Stretch被用来在可以使用该机器人来实现的辅助任务中收集对话数据。在此对话数据中，用户的意图被模糊设置，并进行设置，以便除非使用周围情况来推断推断，否则无法得出所需的辅助操作。当使用简单的基于机器学习的方法对此对话数据进行分类时，其准确性约为22％，并确认构建了一个很难解决的数据集，而无需推断等。此外，还进行了数据分析以检查如何对机器人的行为估计任务有助于哪些方式。此外，对上述数据进行了知识和常识推论，并创建了一个框架，以从现实世界的观察中得出适当的动作。

项目成果

期刊论文数量（12）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Reflective Action Selection Based on Positive-Unlabeled Learning and Causality Detection Model

基于正向无标记学习和因果关系检测模型的反思性行动选择

DOI：
10.1016/j.csl.2022.101463
发表时间：
2023
期刊：
Computer Speech & Language
影响因子：
4.3
作者：
5.Shohei Tanaka;Koichiro Yoshino;Katsuhito Sudoh and Satoshi Nakamura
通讯作者：
Katsuhito Sudoh and Satoshi Nakamura

説明文生成を用いた動作行動予測

使用解释性文本生成进行运动行为预测

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
中村泰貴;河野誠也;湯口彰重;川西康友;吉野幸一郎
通讯作者：
吉野幸一郎

Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System

基于句子结构的伪歧义和澄清问题走向澄清问答系统

DOI：
10.18653/v1/2022.dialdoc-1.4
发表时间：
2022
期刊：
In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop
影响因子：
0
作者：
42.Yuya Nakano;Seiya Kawano;Koichiro Yoshino;Katsuhito Sudoh and Satoshi Nakamura
通讯作者：
Katsuhito Sudoh and Satoshi Nakamura

正準角および部分空間に基づく BERTScore の拡張

基于规范角和子空间的 BERTcore 扩展