服务机器人的环境认知与目标行为识别

结题报告

项目介绍

AI项目解读

基本信息

批准号：
U1713214
项目类别：
联合基金项目
资助金额：
300.0万
负责人：
周杰
依托单位：
清华大学
学科分类：
F0605.模式识别与数据挖掘
结题年份：
2021
批准年份：
2017
项目状态：
已结题
起止时间：
2018-01-01 至2021-12-31

项目参与者：
沈琳琳；郭振华；袁博；邓磊；李雪晨；段岳圻；任亮亮；刘昊；程晓娟；
关键词：
特征识别识别系统识别算法图像处理与模式识别

项目摘要

Service robot industry is urgent to be developed in China. While great progress has been made for the related technologies, the overall intelligence is still at a low level, especially the large deficiency in the ability and efficiency of environment perception and object recognition. The study on the environment perception and object recognition for service robots in natural environment is vital to improving the intelligence of service robots and promoting the development of service robot industry. This project aims at improving the ability and efficiency of environment perception and object behavior recognition for service robots in complex environment, focuses on the two key issues of the efficient representation of image feature and the registration and fusion of multi-sensor data. On the basis of the above works, the problems of environment perception and object behavior recognition for service robots will be studied. This project will result in self-contained independent innovation achievements, make academic impacts in the international community and provide the theoretical and methodological support for the environment perception and object recognition of robots.

服务机器人是我国急需发展的产业。其相关技术在近年来取得较大进步，但总体来看智能水平偏低，特别是对环境的认知和目标的识别能力和效率方面存在较大不足。研究自然环境下面向服务机器人的环境认知和目标行为识别，对于提升服务机器人的智能水平、促进服务机器人产业的发展极为重要。本项目将从图像特征的高效表示、多传感器数据的配准融合两个关键问题入手，着力提高在复杂环境下服务机器人环境认知和目标行为识别的能力和效率，并在服务机器人实际系统上进行验证和完善。本项目将形成自成体系的自主创新成果，在国际上形成一定学术影响，为机器人的环境认知、目标行为识别等应用提供理论和方法的支持。

结项摘要

服务机器人在现实场景中有着广泛的应用。现有服务机器人对自然环境的认知与目标识别能力还存在不足，本项目服务机器人的需求，重点针对环境认知与目标行为识别问题，在图像特征的高效表示、多传感器数据的配准融合等方面取得较大进展。在图像特征的高效表示方面，建立了紧致特征学习的相关理论框架，提出了上下文联系的局部二值人脸识别特征学习来更好地提取人脸图像特征，取得高效性和准确性的平衡；提出通道相关二值卷积神经网络，通过挖掘得到网络通道间相关性来显著降低卷积神经网络的复杂度；针对服务机器人的视觉目标检索问题，提出基于排序保持的多标签图像检索深度哈希方法，通过列表监督学习大规模多标签图像检索的高效二进制码。在多传感器数据的配准融合方面，分析了多传感器数据的模态特征，针对点云数据，提出基于分形球面卷积的三维物体识别，通过引入可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，从而获得更鲁棒和丰富的特征，提升三维点云识别技术在复杂场景下的准确性和鲁棒性；针对视频数据，提出了基于时空注意力学习的视觉目标再识别方法，通过观察视频中的图像质量在空间和时间域中变化来自适应地寻找和匹配空间和时间域的显著特征部分，提升视频特征的准确性和鲁棒性。项目发表（录用）论文117 篇，其中国际期刊论文51篇（包括顶级期刊TPAMI长文9篇、TIP长文10篇）、国际会议66篇（包括CVPR 27 篇、 ICCV 13 篇、NeurIPS 2篇、ECCV 16 篇）。