[发明专利]基于三维残差稠密网络的人体行为意图识别方法与系统

说明书

本发明涉及一种基于三维残差稠密网络的人体行为意图识别方法，包括：根据机器人的安保任务需求，创建一个包含多类行为的真实场景人体行为数据集；根据真实场景的视频人体行为识别需求，构建三维残差稠密网络；训练时，将训练集中预处理后的子数据集视频序列依次送入三维残差稠密网络中训练，最终得到视频人体行为识别模型；测试时，将测试集中的数据经过预处理后输入到三维残差稠密网络中，然后输出人体行为类型。本发明显著提升在KTH和UCF‑101等数据集上的识别精度，同时用于解决真实场景问题以及安保任务需求。

技术领域

本发明涉及计算机视觉领、模式识别和智能机器人技术领域，尤其是一种基于三维残差稠密网络的人体行为意图识别方法与系统。

背景技术

视频中的人体行为识别是计算机视觉领域极具挑战性的一项任务，它作为视频理解的一个重要分支，人体行为识别的目标是让计算机能够正确的识别人体行为和动作，其在安防、智能视频监控、人机交互、虚拟现实等领域具有很强的理论意义和广阔的应用前景。早期传统算法多采用手工构造特征描述视频中的局部时空变化，它通常仿照人类视觉特点及其他先验知识来设计特征本身，它主要针对某一特定任务设计，往往无法适应所有场景，且计算复杂。深度学习作为目前行为识别研究的热点方法，它与传统手工提取特征的方式相比，它的优势在于省去了传统精心设计特征的冗长过程，让模型自主学习适用于当前任务的特征，还能够实现网络的端到端的训练，使得模型的计算更具效率。然而不同于二维的图像识别，由于视频中同时包含空间和时间的信息，模型就不仅需要考虑视频每帧的静态空间信息，还需要考虑帧与帧之间的时空动态信息，如何有效的提取视频序列的时空特征成为设计网络结构的核心工作。

三维卷积神经网络是目前视频中的行为识别的主流算法之一，它是由2D卷积神经网络进行了简单而有效的扩展得到，直接沿时间维度卷积，可用于学习动态连续的视频序列，深入学习时空特征。传统的三维卷积神经网络如C3D，Res3D，I3D已经在多种数据集上取得好的成绩，不过网络付出了高昂的计算代价。如何在网络的精度和运算速度上达到平衡，设计一个计算高效且高准确率的行为识别算法显得尤为重要。

发明内容

本发明的首要目的在于提供一种解决了传统的3D卷积神经网络算法缺乏对网络多层次时空特征的充分利用而导致识别率较低的问题，同时提高了模型的表达能力，还减少了模型参数量，加快了运算速度，在保证精度得到提升的同时提高计算效率的基于三维残差稠密网络的人体行为意图识别方法。

为实现上述目的，本发明采用了以下技术方案：一种基于三维残差稠密网络的人体行为意图识别方法，该方法包括下列顺序的步骤：

(1)根据机器人的安保任务需求，创建一个包含多类行为的真实场景人体行为数据集，包括训练集和测试集；

(2)根据真实场景的视频人体行为识别需求，构建三维残差稠密网络；

(3)训练时，将训练集中预处理后的子数据集视频序列依次送入三维残差稠密网络中训练，最终得到视频人体行为识别模型；

(4)测试时，将测试集中的数据经过预处理后输入到训练好的视频人体行为识别模型中，然后输出人体行为类型。

所述步骤(1)具体是指：创建一个包含多类行为的真实场景人体行为数据集，其视频数据取材于楼宇门禁附近，由进出门的流动人群完成的刷卡、徘徊、行走、站立四类动作，视频拍摄角度固定，视频数据的光照条件包括白天和晚上灯照情况，每类行为分为训练集和测试集。

所述步骤(2)具体包括以下步骤：

(2a)结合残差连接和稠密连接的思想，提出改进的三维卷积神经网络，即三维残差稠密网络，并构造三维残差稠密块作为网络构建模块；其中三维残差稠密块由多层稠密连接的三维卷积层和一个残差连接组成，三维残差稠密网络由多个三维残差稠密块、三维卷积层、拼接层和三维池化层组成；