RI: Medium: Collaborative Research: Closed Loop Perceptual Planning for Dynamic Locomotion

RI：中：协作研究：动态运动的闭环感知规划

基本信息

批准号：
1703319
负责人：
Kostas Daniilidis
金额：
$ 32万
依托单位：
University of Pennsylvania
依托单位国家：
美国
项目类别：
Continuing Grant
财政年份：
2017
资助国家：
美国
起止时间：
2017-10-01 至 2021-09-30
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1703319&HistoricalAwards=false
关键词：
RI Medium Collaborative Research Closed

项目摘要

Modern robots can be seen moving about a variety of terrains and environments, using wheels, legs, and other means, engaging in life-like hopping, jumping, walking, crawling, and running. They execute motions called gaits. An example of a gait is a horse trotting or galloping. Likewise, humans execute walking, running and skipping gaits. Essentially, for either a biological or mechanical systems, a gait is a locomotion pattern that involves large-amplitude body oscillations. Naturally, these motions cause impacts with terrain that jostle on-board perceptual systems and directly influence what the robots actually "see" as they move. For instance, the body motion of a bounding horse-like robot may result in significant occlusions and oscillations in on-board camera systems that confound motion estimation and perceptual feedback.Focusing on complex mobility robots, this project seeks to better understand the coupling between locomotion and visual perception to improve perceptual feedback for closed-loop motion estimation. The work is organized around two key questions: 1) How should a robot look to move well? 2) How should a robot move to see well? To address the first challenge, the periodic structure of gait-based motions will be leveraged to improve perceptual filtering as the robot carries out fixed (pre-determined) motions. The second half of the project will derive perceptual objectives and a new perceptual gait design framework to guide how high degree-of-freedom, complex mobility robots should move (locomote). The goal is to optimize feedback for closed-loop motion implementation, on-line adaptation, and learning, which are currently difficult or impossible for many complex mobility robots.

现代机器人可以在各种地形和环境中移动，使用轮子、腿和其他方式，进行逼真的跳跃、跳跃、行走、爬行和跑步。他们执行称为步态的动作。步态的一个例子是马小跑或疾驰。同样，人类也会执行步行、跑步和跳跃的步态。本质上，对于生物或机械系统来说，步态是一种涉及大幅身体振动的运动模式。当然，这些运动会对地形产生影响，从而影响机载感知系统，并直接影响机器人在移动时实际“看到”的内容。例如，像跳跃的马一样的机器人的身体运动可能会导致机载摄像头系统出现明显的遮挡和振荡，从而混淆运动估计和感知反馈。该项目专注于复杂的移动机器人，旨在更好地理解运动之间的耦合和视觉感知，以改善闭环运动估计的感知反馈。这项工作围绕两个关键问题进行组织：1）机器人应该如何看起来才能很好地移动？ 2）机器人应该如何移动才能看得清楚？为了解决第一个挑战，当机器人执行固定（预定）运动时，将利用基于步态的运动的周期性结构来改善感知过滤。该项目的后半部分将得出感知目标和新的感知步态设计框架，以指导高自由度、复杂的移动机器人应如何移动（locomote）。目标是优化闭环运动实施、在线适应和学习的反馈，这对于许多复杂的移动机器人来说目前是困难或不可能的。

项目成果

期刊论文数量（7）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Spike-FlowNet: Event-Based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks

Spike-FlowNet：使用节能混合神经网络进行基于事件的光流估计

DOI：
10.1007/978-3-030-58526-6_22
发表时间：
2020-01
期刊：
European Conference Computer Vision 2020
影响因子：
0
作者：
Chankyu Lee; Adarsh Kumar
通讯作者：
Adarsh Kumar

Unsupervised Event-Based Learning of Optical Flow, Depth, and Egomotion

基于事件的无监督光流、深度和自我运动学习

DOI：
10.1109/cvpr.2019.00108
发表时间：
2018-12-19
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
0
作者：
A. Z. Zhu;Liangzhe Yuan;Kenneth Chaney;Kostas Daniilidis
通讯作者：
Kostas Daniilidis

Event-based Vision: A Survey

基于事件的愿景：调查

DOI：
10.1109/tpami.2020.3008413
发表时间：
2020-07
期刊：
IEEE Transactions on Pattern Analysis and Machine Intelligence
影响因子：
23.6
作者：
Gallego, Guillermo;Delbruck, Tobi;Orchard, Garrick Michael;Bartolozzi, Chiara;Taba, Brian;Censi, Andrea;Leutenegger, Stefan;Davison, Andrew;Conradt, Jorg;Daniilidis, Kostas;et al
通讯作者：
et al

EV-FlowNet: Self-Supervised Optical Flow Estimation for Event-based Cameras

EV-FlowNet：基于事件的相机的自监督光流估计

DOI：
10.15607/rss.2018.xiv.062
发表时间：
2018-02-19
期刊：
ArXiv
影响因子：
0
作者：
A. Z. Zhu;Liangzhe Yuan;Kenneth Chaney;Kostas Daniilidis
通讯作者：
Kostas Daniilidis

Self-Supervised Optical Flow with Spiking Neural Networks and Event Based Cameras

具有尖峰神经网络和基于事件的相机的自监督光流

DOI：
10.1109/iros51168.2021.9635975
发表时间：
2021-01
期刊：
2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS
影响因子：
0
作者：
Chaney, Kenneth;Panagopoulou, Artemis;Lee, Chankyu;Roy, Kaushik;Daniilidis, Kostas
通讯作者：
Daniilidis, Kostas

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Kostas Daniilidis其他文献

Optical Flow Computation in the Log-Polar-Plane

对数极平面中的光流计算

DOI：
10.1007/3-540-60268-2_281
发表时间：
1995-09-06
期刊：
影响因子：
0
作者：
Kostas Daniilidis;V. Krüger
通讯作者：
V. Krüger

Computer Vision - ECCV 2010, 11th European Conference on Computer Vision, Heraklion, Crete, Greece, September 5-11, 2010, Proceedings, Part I

计算机视觉 - ECCV 2010，第 11 届欧洲计算机视觉会议，希腊克里特岛伊拉克利翁，2010 年 9 月 5-11 日，会议记录，第一部分

DOI：
10.1007/978-3-642-15549-9
发表时间：
2024-09-14
期刊：
影响因子：
0
作者：
Kostas Daniilidis;P. Maragos;N. Paragios
通讯作者：
N. Paragios

Nonmyopic View Planning for Active Object Detection

用于活动物体检测的非近视视图规划

DOI：
10.48550/arxiv.2311.05046
发表时间：
2013-09-20
期刊：
ArXiv
影响因子：
0
作者：
Nikolay A. Atanasov;Bharathwaj Sankaran;J. L. Ny;George Pappas;Kostas Daniilidis
通讯作者：
Kostas Daniilidis