Learning the Context in Programming by Demonstration of Manipulation Tasks

通过演示操作任务来学习编程环境

基本信息

项目摘要

State-of-the-art service robots are able to learn new manipulation tasks consisting of multiple, defined actions, based on the observation of a human teacher, known as Programming by Demonstration (PbD). The logic structure of the task characterized by branches or alternative actions, can be learned using symbolic PbD-approaches. Subsymbolic PbD-approaches allow to learn atomic actions, which generate executable robot motions.. However, no information about the context, in which the atomic action can be executed, is generated. In order to execute a manipulation task autonomously, an operational description of the context is necessary. The problem to solve is, what are relevant, measurable object properties and how can they be autonomously observed with high reliability by the robot.Visual perception alone is insufficient since the variety of objects in the human environment leads to a large number of ambiguities and false positives. The basis to resolve these issues is a selection of suitable object classifiers, a reduced number of objects to classify and the definition of search regions. Additionally, sensor actions have to be defined to determine object properties, which can't be measured visually. In most state-of-the-art systems, this knowledge is defined manually.Thus, the goal of this project is to extend the PbD-approach to learn the context of a manipulation task based on human observation. In order to achieve this goal, we will integrate and extend methods from scene analysis into the PbD-approach. The second goal is to resolve ambiguities and detect false positives of visual perception algorithms using the learned contexts. We will integrate and extend methods from interactive object detection into the PbD-approach to learn sensor actions efficiently to measure non-visual object properties, e.g. weight, and thereby resolve ambiguities and false detections. Based on the learned context, we can infer the role of unknown objects in the environment, e.g. based on the spatial relation to known objects. The execution of learned manipulation tasks with an object, which was unknown , is without generalization processes not possible. Thus, increasing the generalization capabilities of the robot by interactively adapting learned constraints and goals of a manipulation task to a novel object. The application of morphing methods is planned to transform constraints and goals on the basis of 3D-object-models. With the help of simulation techniques the verification of the transformation and its adjustment is done interactively. The developed algorithms will be implemented on real robot anthropomorphic systems and evaluated using real world examples.
最先进的服务机器人能够根据对人类教师的观察(被称为示范编程(PBD))的观察来学习由多个定义的动作组成的新操作任务。以分支或替代作用为特征的任务的逻辑结构可以使用符号PBD诉讼来学习。子符号PBD诉讼允许学习原子操作,从而生成可执行的机器人动议。但是,没有生成有关可以执行原子操作的上下文的信息。为了自主执行操作任务,必须对上下文进行操作描述。要解决的问题是,与机器人相关的对象属性是什么相关,可测量的对象属性,如何通过机器人的可靠性高度观察到它们。仅视觉感知就不足,因为人类环境中的各种对象都会导致大量的歧义和误报。解决这些问题的基础是选择合适的对象分类器,减少用于分类的对象和搜索区域的定义。此外,必须定义传感器操作以确定对象属性,而对象属性无法视觉上测量。在大多数最先进的系统中,该知识是手动定义的。因此,该项目的目的是扩展PBD诉求,以学习基于人类观察的操纵任务的背景。为了实现这一目标,我们将将方法从场景分析整合到PBD核对方法中。第二个目标是解决歧义性并检测使用学识渊博的上下文的误报。我们将将方法从交互式对象检测到PBD诉讼中进行集成和扩展,以有效地学习传感器操作以测量非视觉对象属性,例如重量,从而解决歧义和错误检测。基于学习的环境,我们可以推断未知对象在环境中的作用,例如基于与已知对象的空间关系。用对象执行学习的操作任务,该任务是未知的,没有概括过程。因此,通过将操纵任务的学习限制和目标与新对象的互动限制和目标相互作用,从而提高了机器人的概括能力。计划在3D对象模型的基础上使用变形方法的应用来改变约束和目标。借助仿真技术,转换及其调整的验证是互动的。 开发的算法将在实际机器人拟人化系统上实施,并使用现实世界示例进行评估。

项目成果

期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Scene recognition for mobile robots by relational object search using Next-Best-View estimates from hierarchical Implicit Shape Models
使用分层隐式形状模型的下一个最佳视图估计,通过关系对象搜索来进行移动机器人的场景识别
Active scene recognition for programming by demonstration using next-best-view estimates from hierarchical Implicit Shape Models
通过使用分层隐式形状模型中的次最佳视图估计进行演示,进行主动场景识别以进行编程
Automated selection of spatial object relations for modeling and recognizing indoor scenes with hierarchical Implicit Shape Models
自动选择空间对象关系,用于使用分层隐式形状模型建模和识别室内场景
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Professor Dr.-Ing. Rüdiger Dillmann其他文献

Professor Dr.-Ing. Rüdiger Dillmann的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Professor Dr.-Ing. Rüdiger Dillmann', 18)}}的其他基金

Situationsinterpretation und Verhaltensplanung unter Unsicherheiten für kognitive Automobile
认知汽车不确定性下的态势解释与行为规划
  • 批准号:
    194098769
  • 财政年份:
    2011
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Situationsbezogene Erweiterte Realität im Operationssaal
手术室情景增强现实
  • 批准号:
    59266434
  • 财政年份:
    2008
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Patientenspezifische Simulation der aortalen Blutströmung unter Berücksichtigung der Gefäßwandinteraktion
考虑血管壁相互作用的针对患者的主动脉血流模拟
  • 批准号:
    42635322
  • 财政年份:
    2007
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Visuelle Sensorplattform für kognitive Automobile
用于认知汽车的视觉传感器平台
  • 批准号:
    5417621
  • 财政年份:
    2003
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Computergestützte Planung und Navigation neurochirurgischer Eingriffe an der Wirbelsäule
脊柱神经外科手术的计算机辅助规划和导航
  • 批准号:
    5390712
  • 财政年份:
    2002
  • 资助金额:
    --
  • 项目类别:
    Priority Programmes
Schritthaltendes Lernen dreidimensionaler geometrischer Umweltkarten durch Autonome Inspektionsfahrzeuge
自动检测车对三维几何环境图的同步学习
  • 批准号:
    5342756
  • 财政年份:
    2002
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Rechnerarchitektur, Sensorik und adaptive Steuerung einer vierbeinigen Laufmaschine mit dynamisch stabilem Gang
动态稳定步态四足行走机的计算机体系结构、传感器和自适应控制
  • 批准号:
    5383003
  • 财政年份:
    1997
  • 资助金额:
    --
  • 项目类别:
    Priority Programmes
Programmieren durch Vormachen unter Verwendung eines aktiven Stereo-Sichtsystems und eines Datenhandschuhs
使用主动立体视觉系统和数据手套进行演示编程
  • 批准号:
    5252037
  • 财政年份:
    1996
  • 资助金额:
    --
  • 项目类别:
    Research Grants

相似国自然基金

融合符号推理与深度学习的复杂语境下实体关系抽取技术研究
  • 批准号:
    62376033
  • 批准年份:
    2023
  • 资助金额:
    50 万元
  • 项目类别:
    面上项目
复杂任务驱动下融合视听感知与态势语境的空管语音理解研究
  • 批准号:
    62371323
  • 批准年份:
    2023
  • 资助金额:
    50.00 万元
  • 项目类别:
    面上项目
交互语境影响蒙汉双语者注意控制的认知神经机制
  • 批准号:
    32360200
  • 批准年份:
    2023
  • 资助金额:
    32 万元
  • 项目类别:
    地区科学基金项目
面向高维生物数据的语境可视分析的研究
  • 批准号:
    62302399
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
面向开放环境的软件语境分析与缺陷诊断技术研究
  • 批准号:
    62302209
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

Role of PARP-mediated NAD+ depletion in the establishment of Placental Dysfunction and Fetal Programming in the context of Maternal Obesity
PARP 介导的 NAD 耗竭在孕产妇肥胖背景下胎盘功能障碍和胎儿编程中的作用
  • 批准号:
    486237
  • 财政年份:
    2022
  • 资助金额:
    --
  • 项目类别:
    Studentship Programs
Early Life Adversity and the Developmental Programming of Early Childhood Telomere Biology: A Longitudinal Study of Developmental Context and Behavioral Mediators
早期生活逆境与幼儿期端粒生物学的发展规划:发展背景和行为中介的纵向研究
  • 批准号:
    10297293
  • 财政年份:
    2021
  • 资助金额:
    --
  • 项目类别:
Early Life Adversity and the Developmental Programming of Early Childhood Telomere Biology: A Longitudinal Study of Developmental Context and Behavioral Mediators
早期生活逆境与幼儿期端粒生物学的发展规划:发展背景和行为中介的纵向研究
  • 批准号:
    10649546
  • 财政年份:
    2021
  • 资助金额:
    --
  • 项目类别:
Programming as a Context for Making Problem Solving Visible: An Equity Focused K-5 Research Practice Partnership
编程作为使问题解决变得可见的背景:以公平为中心的 K-5 研究实践合作伙伴关系
  • 批准号:
    1837488
  • 财政年份:
    2019
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
Placental programming of infant neurodevelopment in the context of maternal care
孕产妇护理背景下婴儿神经发育的胎盘编程
  • 批准号:
    1942116
  • 财政年份:
    2017
  • 资助金额:
    --
  • 项目类别:
    Studentship
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了