Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions

开发运动生成技术以实现根据自然语言指令执行各种任务的机器人

• 批准号: 21H04910
• 负责人: 橋本 敦史
• 金额: $ 26.87万
• 依托单位: OMRON SINIC X Corporation
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-05 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04910/
• 关键词: 自然言語処理; クロスモーダル処理; ロボティクス; 自然言語処理; クロスモーダル処理; ロボティクス

本研究の骨子は(A-1)言語指示からの環境・身体性非依存な動作記述生成、(A-2)力学的インタラクションに基づく動作系列の生成、(B-1) Inter-object centricprogrammingに基づいたAPIの実現、ならびに(B-2) 力学的インタラクションに基づいた作業模倣の4つとなる。このうち(A-1)について、昨年度から取り組みを開始した画像生成については、成功する場合もあるものの十分な性能を達成するところまでは至っていない。このため、現在は性能の向上に取り組んでいる。それに加え、以前より収集していた多数のキッチンでの調理を観測した大規模映像データに対して、昨年度策定のアノテーション基準に従ってアノテーションを開始している。(A-2)は昨年度、画像からわかる人と物体とのインタラクションの解析に注力するバックアッププランに転換をした。詳細動作認識のタスクで精度向上をすることができたが、動作抽出への応用などができていないため、十分なインタラクション解析技術の実現には至っていない。(B-1)について、特定の食材を取ってきてぶつ切りにし、皿へ移動するまでに必要なスキルセット、および、それらの組合せによる実際の切断を行うことができた。また、既存のシミュレーターを改修し、力学的インタラクションを考慮した食材切断のシミュレーター開発の取り組みを開始した。(B-2)について、昨年度開発した汎用性のあるグリッパによる食材把持技術を拡張し、未知食材についても把持を行う機械学習アルゴリズムを開発した。これにより、多様な食材を把持することができる状態となった。また、ぶつ切り以外の多様な切断パターンを生成する学習型アルゴリズムを開発した。これにより、把持と切断の個別タスクについては動作生成が可能になった。

这项研究的要点是（A-1）基于机械相互作用的运动序列（A-2）基于机械相互作用的API的运动序列（A-2）产生运动序列的（A-2）基于机械互动的API和（B-2）工作模仿。在这些（A-1）中，去年开始的图像产生已经成功，但尚未达到足够的性能。因此，我们目前正在努力提高我们的绩效。此外，根据去年为大规模视频数据制定的注释标准开始了注释，这些标准已针对以前收集过的许多厨房收集。去年，（A-2）改用了备份计划，该计划着重于分析可以通过图像看到的人与对象之间的相互作用。尽管通过详细运动识别的任务提高了精度，但尚未应用于运动提取，并且尚未实现足够的交互分析技术。关于（b-1），我们能够采用特定的成分并将其切成碎片，并实际上使用移动到盘子所需的技能以及这些组合所需的技能。此外，现有的模拟器已经进行了翻新，并开始努力开发一种考虑机械相互作用的食物切割模拟器。关于（B-2），我们扩展了去年开发的多功能抓地力食品抓地力技术，并开发了一种机器学习算法，该算法也可以吸引未知的食物。这使得可以掌握各种成分。我们还开发了一种学习算法，该算法会生成除切割以外的各种切割模式。这使得为​​抓地力和切割的单个任务生成动议。