普适环境下基于三维肢体动作理解的助老机器人交互技术研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61273339
项目类别：
面上项目
资助金额：
79.0万
负责人：
李瑞峰
依托单位：
哈尔滨工业大学
学科分类：
F0306.自动化检测技术与装置
结题年份：
2016
批准年份：
2012
项目状态：
已结题
起止时间：
2013-01-01 至2016-12-31

项目参与者：
于殿勇；高云峰；高彤；赵立军；曹雏清；王亮亮；霍光磊；郭万金；
关键词：
机器人视觉人机交互动作理解服务机器人

项目摘要

To resolve the problems of eldercare robot encounted in the universal environment, a novel method will be developed in this scheme. Novel modeling will be developed to capture human actions which is sutiable for elder to solve the natural human-robot-interaction(HCI) problems in this scheme. Based on the eldercare robot platform, depth image and color image are fused to detect the target from the background, and to estimate the 3D human pose for realtime action recognition. To analysis the motion of elder using the psychology database, HCI strategy will be bulit based on action perception. This proposed scheme exhibits robust, stable and real-time performance which are well suited for the the unpredicted changes of indoor light, complex background, partial occlusion and other facoctos, thus overcoming the shortage in traditional method affected by the changes of environment and user. This scheme not only promotes the HCI and Artificial Intelligence technology for the robot theoretical significance, but also has important realistic meaning to push eldercare robot in application.

普适环境的肢体动作理解是助老服务机器人当前研究的热点问题，同时也是助老机器人走向实际应用必须解决的难点问题，该问题解决对助老机器人认知和老人陪护问题具有重要意义。本项目拟采用通过老人容易掌握的肢体形态方式建立新机制，解决在普适环境下助老机器人的人机自然交互问题。在助老机器人平台下，通过基于机器人本体获取的深度和图像信息的融合，实现在普适环境对人物目标区域的识别和准确提取，构建实时的三维人体姿态完成对肢体动作的识别，并结合行为心理学知识库对肢体动作进行分析，针对老人行为动作的理解建立人机交互策略。该方案对室内光线变化、复杂背景、局部遮挡和动态因素干扰具有鲁棒性特点，在人机交互中具有稳定性和实时性特点，克服了传统方法受环境和用户变化影响的缺点。该项目研究不仅提高助老机器人的人机交互能力和智能化程度，为助老机器人的人机交互方向提供理论支持，而且对助老机器人的实际应用具有重

结项摘要

随着机器人智能化需求的不断增长以及机器人视觉、人工智能和机器学习技术的快速发展，助老服务机器人三维人体姿态识别与肢体动作理解的研究逐渐成为近年的研究热点。三维人体姿态识别与肢体动作理解涉及人体区域检测、人体姿态重构、人体动作识别等诸多方面，其中最关键的技术主要有人体动作特征提取技术、动作特征表征技术和表征特征分类技术。本课题对人体姿态行为识别的关键理论进行了深入研究，探索了普适环境下基于人体动作行为的人机交互关键技术，并基于助老服务机器人平台进行了实验验证。具体来说，首先，研究了普适环境中人体区域的检测问题，基于Kinect和单目相机分别实现了人体动作区域的快速准确分割，取得了一系列研究成果，其中具有代表性的是提出了运动能量流算法：利用拉普拉斯金字塔模型将图像进行多尺度能量变换，并利用能量不变和能量平滑假设估计出运动细节的变化，实现了动作区域的精确检测。针对人体姿态重构和行为识别问题，课题从底层特征提取、中层特征表征和高层特征时空表达三个层面对其进行了研究，其中具有代表性的是提出的梯度特征转换算法、图像势能差分模板和三通道的卷积神经网络框架。梯度特征转换算法基于Log-Exp变换、前-后向差分投影和对应性融合机制实现了梯度特征的局部时空表征；图像势能差分模板则通过构建图像势能地图、归一化投影直方图和运动动能速率算子对动作进行了全局时空表征；三通道的卷积神经网络建立了一个包含5个卷积层、3个池化层和两个全连接层的卷积神经网络框架，对动作的图像、光流和剪影特征进行了深度学习。以上三种方法均实现了较好的动作特征表征和识别效果，相比于类似方法具有一定的优势。最后，对原有助老服务机器人平台进行了改造，并利用OpenCV和Qt Creator库设计了相关软件，进行了应用实验，取得了较理想的实验效果。