マルチモーダル注意機構を用いる実ロボットの器用な物体操作タスクの自動化

使用多模态注意机制在真实机器人中实现灵巧物体操纵任务的自动化

基本信息

批准号：
22KJ0890
负责人：
KIM HEECHEOL
金额：
$ 1.09万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0890/
关键词：
深層模倣学習双腕ロボット器用な物体操作

项目摘要

本研究では、ロボットによる器用な物体操作課題を可能にする高データ効率でかつ精密なマルチモーダル深層模倣学習の機構を探求した。従来のロボットによる物体操作は、専門家によるルールベースの設計が必要で、バナナの皮むきなど、そのルールがはっきりとわからないタスクでは適用できなかった。しかし、本研究で提案されたアプローチにより、より少数のデータから人間の物体操作スキルの獲得ができ、人間の専門家からの事前知識を要しない器用な物体操作スキルの獲得ができた。模倣学習において、ロボットの軌跡の器用さと安定性はトレードオフ関係にある性質である。なぜなら、器用な物体操作方策は、蓄積誤差に脆弱であり、結果として軌跡の安定性を損なうからである。本研究では、器用さと安定性の両方を達成するために、global action（物体をつかむために手を動かすなどの全域領域での行動）と、local action（手が物体を操作する局所的な行動）を、それぞれ軌跡全体を一度に予測して実行するフィードフォワード制御と、反応的なフィードバック制御で割り当てた。これにより、ロボットは物体周辺の局所領域でのみ反応的な行動を取り、蓄積誤差の影響を最小化した。さらに、力覚フィードバックを必要とするタスクのための深層模倣学習機構を調査し、複雑な制御システムや高価なバイラテラル（bilateral）システムを必要とせず、ロボットなしでマスターコントローラーだけを用いる教示方法を提案した。提案方法では、人間の視線情報を使用し、視線周辺の局所領域のビジョン情報のみを使用することにより、マスターコントローラ側とロボット側の違いを最小限に抑える学習方法を考案し、栓抜きという力を必要とするタスクを模倣学習で学習することに成功した。

在这项研究中，我们探索了一种数据高效且精确的多模态深度模仿学习机制，使机器人能够执行灵巧的物体操纵任务。传统的机器人操纵物体需要专家基于规则的设计，并且不能应用于规则不明确的任务，例如剥香蕉皮。然而，通过本研究提出的方法，可以从少量数据中获得人类物体操纵技能，并且可以获得不需要人类专家先验知识的灵巧物体操纵技能。在模仿学习中，机器人轨迹的灵巧性和稳定性是处于权衡关系的属性。这是因为灵巧的物体操纵策略容易受到累积误差的影响，从而导致轨迹稳定性丧失。在本研究中，为了实现灵活性和稳定性，我们关注全局动作（整个区域的动作，例如移动手以抓住物体）和局部动作（手操纵物体的局部动作）。分别分配给前馈控制（一次预测并执行整个轨迹）和反应反馈控制。因此，机器人仅在物体周围的局部区域采取反应动作，从而最大限度地减少累积误差的影响。此外，我们研究了需要触觉反馈的任务的深度模仿学习机制，并开发了不需要复杂控制系统或昂贵的双边系统并且仅使用主控制器而不使用机器人的教学方法。在所提出的方法中，我们设计了一种学习方法，通过使用人类视线信息和视线周围局部区域的视觉信息来最小化主控制器侧和机器人侧之间的差异，我们成功地完成了需要的学习任务。模仿学习使用模仿学习。