面向非受控视频环境的家畜行为识别研究

With the rapid development in the field of intelligent monitoring, the research on visual action recognition under uncontrolled video environment has received much attention from related industries. In the intelligent livestock breeding industry, automatic action analysis and recognition on livestock data is a challenging task because of the need for large scale production, similarities in livestock’s properties but unrestricted target behaviors and occlusion in the environment. For those reasons, this project, based on action analysis of dairy cow in estrus, carries out a series of studies on action analysis and recognition of livestock under uncontrolled environment. The main research objectives include: (1) Proposing a state inference based online multi-target tracking algorithm to implement dairy cattle detection and online tracking under uncontrolled environment; (2) Developing a keypoint estimation model on multiple consecutive frames for real-time keypoint sequences recognition of the dairy cattle; (3) Designing a contextual model of behavior with geometry information, reasoning target behaviors through space-time geometry relations among semantic keypoint, and realizing automatic recognition of the behaviors of dairy cow in estrus. In addition, considering the lack of training data on livestock action recognition, this project aims to build an estrus behaviors dataset on dairy cattle, which forms the basis of the uncontrolled video environment based action recognition prototype system.

随着智能监控领域的迅猛发展，非受控视频环境下的视觉行为识别研究受到各个相关行业广泛关注。就智能家畜养殖行业而言，由于养殖规模巨大、目标行为非受控、畜类的表观属性相似、场景中遮挡明显等因素，使得对家畜行为的自动分析与识别仍存较大难度。鉴于此，本项目以奶牛发情行为分析为对象，针对非受控视频环境下的家畜行为分析与识别开展一系列研究。主要内容包括：(1) 提出一种基于状态推理的在线多目标跟踪算法，实现非受控环境下奶牛的检测与在线跟踪；(2) 构建面向连续帧的目标关键点定位模型，对奶牛进行实时的关键点序列识别；(3) 设计带有几何信息的时空上下文行为表达模型，利用语义关键点之间的时空几何关系对目标行为进行推理，进而实现奶牛发情行为的自动识别。此外，针对家畜类行为识别训练数据欠缺的现状，本项目将构建一个奶牛发情行为数据集，并在上述研究成果基础上，搭建面向非受控视频环境的家畜行为识别原型系统。

家畜的外在动作行为（如走、跑、爬跨、站等）是其对内外环境中各种信息做出的应答性反应。准确高效识别家畜的各种动作行为是家畜饲养管理工作中必备且重要环节，对改善家畜福利状况、提高单产水平、降低生产成本、增加经济效益等意义重大。本项目针对当前养殖规模大、目标行为非受控、畜类表观属性相似、场景中遮挡明显等因素下奶牛行为识别开展一系列研究，充分借鉴当前快速发展的目标跟踪、姿态估计及行为识别技术，探索一套较为完整的家畜行为识别计算模型，为家畜智能精准化饲养管理提供有效技术支撑。主要研究内容如下：1）根据牛脸特性进行深度网络模型结构设计，通过引入多尺度多层次的特征提取策略提高牛脸识别性能；2）提出一种基于状态推理的在线目标跟踪算法，实现目标在线跟踪；3）构建深度学习模型实现奶牛身体关键点定位；4）设计了一个新的TSM主干网络实现奶牛走、跑、躺卧、站立、爬跨等动作行为识别，准确率达90%。.项目组按原定计划开展研究，完成预期研究成果指标。本项目在国内外核心期刊和会议发表论文6篇，申请发明专利1项，获得软件著作权登记4项。培养研究生6人，构建包含3600多头奶牛的牛脸检测与识别数据集及包含走、跑、爬跨、站、躺卧等动作行为的视频数据集，并构建一个奶牛行为识别原型系统。此外，目前本项目的研究成果拟进一步推广到宁夏某牛场应用。

内容获取失败，请点击重试