[发明专利]基于三维残差稠密网络的人体行为意图识别方法与系统

权利要求书

1.一种基于三维残差稠密网络的人体行为意图识别方法，其特征在于：该方法包括下列顺序的步骤：

（1）根据机器人的安保任务需求，创建一个包含多类行为的真实场景人体行为数据集，包括训练集和测试集；

（2）根据真实场景的视频人体行为识别需求，构建三维残差稠密网络；

（3）训练时，将训练集中预处理后的子数据集视频序列依次送入三维残差稠密网络中训练，最终得到视频人体行为识别模型；

（4）测试时，将测试集中的数据经过预处理后输入到训练好的视频人体行为识别模型中，然后输出人体行为类型；

所述步骤（1）具体是指：创建一个包含多类行为的真实场景人体行为数据集，其视频数据取材于楼宇门禁附近，由进出门的流动人群完成的刷卡、徘徊、行走、站立四类动作，视频拍摄角度固定，视频数据的光照条件包括白天和晚上灯照情况，每类行为分为训练集和测试集；

所述步骤（2）具体包括以下步骤：

（2a）结合残差连接和稠密连接的思想，提出改进的三维卷积神经网络，即三维残差稠密网络，并构造三维残差稠密块作为网络构建模块；其中三维残差稠密块由多层稠密连接的三维卷积层和一个残差连接组成，三维残差稠密网络由多个三维残差稠密块、三维卷积层、拼接层和三维池化层组成；

（2b）三维残差稠密块内每一个卷积层的特征直接传递到所有后续层，然后进行局部稠密特征聚合自适应的保留有益信息，接着对输入和输出特征聚合进行局部残差学习；

（2c）三维残差稠密块经过采样后的输出会直接访问到下一个三维残差稠密块内中的所有层，形成一个特征连续传递和复用的状态；同时每个三维残差稠密块通过卷积采样后的特征输出被拼接起来利用，以全局方式自适应地保留多种层级特征，完成全局特征聚合。

2.根据权利要求1所述的基于三维残差稠密网络的人体行为意图识别方法，其特征在于：所述步骤（3）具体包括以下步骤：

（3a）所述三维残差稠密网络的输入为训练集生成的连续16帧视频序列，对输入的连续16帧视频序列的分辨率进行调整，并设置相应的采样率，采用相应的预处理和数据增强方法；

（3b）将连续16帧视频帧序列送入三维残差稠密网络进行训练，经过三维卷积，非线性单元、批量正则化以及三维池化操作层层堆叠，网络提取到高层语义特征，然后输出有效的特征向量；

（3c）三维残差稠密网络训练采用反向传播算法，根据三维残差稠密网络的输出值与真实值计算损失函数，完成输出值的正向传播，接着用链式法则计算三维残差稠密网络各层的误差梯度，用误差梯度矫正各层的参数，完成误差的反向传播；三维残差稠密网络通过不断的正向传播和反向传播，直到三维残差稠密网络收敛，最终得到视频人体行为识别模型。

3.根据权利要求1所述的基于三维残差稠密网络的人体行为意图识别方法，其特征在于：在所述步骤（4）中，测试时，使用训练好的模型估计每个视频片段序列的行为类型，并与真实行为标签做比对得到识别准确率。

4.一种实施如权利要求1至3中任一项所述的基于三维残差稠密网络的人体行为意图识别方法的系统，其特征在于：包括：

数据采集模块，用于利用监控设备采集人体行为视频；

数据预处理模块，其与所述的数据采集模块通讯连接，用于对模型的输入进行预处理，其中包括对输入视频序列去均值化和归一化，以加快模型收敛速度，以及跳过偶数帧采样，以减少视频连续帧中包含的冗余信息与噪声；

人体行为特征提取模块，其与所述的数据预处理模块连接，用于提取能够描述连续视频帧中人体对象行为特性的特征值，其中提取特征的模型为三维残差稠密网络；

行为分类模块，与人体行为特征提取模块连接，用于对人体对象行为的特征信息进行处理并分类，得到连续视频帧对应的行为分类，其中分类模型采用的分类器为softmax多分类器；

结果输出模块，与行为分类模块连接，用于将行为分类模块得到的行为检测结果分发给其他程序或设备，或者报警系统根据检测结果对可疑人员发出警告提示。