Embodied Interface for Enhanced Teleoperation of Intelligent Robots

用于增强智能机器人远程操作的具体接口

• 批准号: 22K14222
• 负责人: 朱 曜南
• 金额: $ 3万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K14222/
• 关键词: 遠隔操作; 協調制御; 触覚フィードバック; 知能ロボット; 触覚インターフェイス

本研究では、直感的な遠隔操作を可能にする身体性を伴う操作インターフェイスの開発に取り組み、ロボットが協調制御に基づいて、作業者の遠隔操作を支援し、その負担を軽減し作業効率を向上させることを目的としている。本年度では、身体性を伴うインターフェイスの開発に取り組み、ビジョンベースの触覚センサを用いて把持力の推定を行った。推定された把持力を力逆送型バイラテラル制御器と連携することにより、遠隔操作者にグリッパ先端の力情報を提示することに成功した。把持力の推定は、触覚センサ表面のゲルの変形量に基づいており、表面変形量の測定のために深度マップを作成した。深度マップはセンサから取得されたRGB画像をMulti-Layer Perceptronを用いることによって作成した。推定された表面変形量（深度）と力の真値データを取得し、回帰アルゴリズムを用いて深度と力の関係を得ることにより、リアルタイムで把持力を推定することが可能となった。商用のハプティクスデバイスをリーダとし、先端に触覚センサを取り付けたパラレルグリッパをフォロワとしてバイラテラル制御系を構築し実験を行った。その結果、ビジョンベース触覚センサを用いて力フィードバックを行うことが可能であることが確認され、力フィードバックによる直感性の向上により操作性が改善した。また、遠隔操作において、物体の把持を支援する協調制御システムの構築を行った。提案システムでは、RGBDカメラから取得した物体の点群データを補完することにより、各方向からの把持位置の検出を可能にした。そして、多方向の把持姿勢から、ロボットアームの可操作性が一番高い姿勢を選出し、遠隔把持の支援に用いた。実験の結果、ロボットアームのスムーズな動作を実現し、かつ操作性の改善による操作者の負担軽減と作業時間の短縮が確認でき、提案システムの有用性を示した。

在这项研究中，我们致力于开发一种能够实现直观远程控制的物理操作界面，并且机器人支持基于协作控制的工人远程控制，减轻他们的负担并提高工作效率。今年，我们致力于使用基于视觉的触觉传感器开发具有物理性和估计握力的界面。通过将估计的夹持力与力反转型双边控制器连接起来，我们成功地将夹持器尖端的力信息呈现给远程操作员。抓握力的估计是基于触觉传感器表面的凝胶变形量，并创建深度图来测量表面变形量。深度图是通过使用多层感知器从传感器获得的 RGB 图像创建的。通过获取估计的表面变形量（深度）和力的真实值数据，并使用回归算法获得深度和力之间的关系，现在可以实时估计夹持力。我们构建了一个双边控制系统，使用市售的触觉设备作为引导器，并使用尖端附有触觉传感器的平行夹具作为从动器，并进行了实验。结果，确认可以使用基于视觉的触觉传感器进行力反馈，并且通过力反馈提高直观性，从而提高了可操作性。我们还构建了一个协作控制系统，支持使用远程控制抓取物体。所提出的系统可以通过补充从 RGBD 相机获得的物体的点云数据来检测每个方向的抓取位置。然后，从多方向的抓取姿势中，选择机械臂可操作性最高的姿势，用于支持远程抓取。实验结果证明了该系统的实用性，因为证实了机械臂可以平稳运行，并且通过提高可操作性减少了操作员的负担和工作时间。

项目成果

Visual Tactile Sensor Based Force Estimation for Position-Force Teleoperation

• DOI: 10.1109/cbs55922.2023.10115342
• 发表时间: 2022-12
• 期刊: 2022 IEEE International Conference on Cyborg and Bionic Systems (CBS)
• 作者: Yaonan Zhu;Shukrullo Nazirjonov;Bin Jiang;Jacinto E. Colan Zaita;T. Aoyama;Y. Hasegawa;B. Belousov