[发明专利]基于多目标检测3D CNN的人体行为识别方法及系统

说明书

本发明公开了一种基于多目标检测3D CNN的人体行为识别方法及系统，该方法包括：1)对视频进行预处理，将视频流转化为图像帧；2)采用目前比较成熟的SSD检测技术对视频中的目标对象进行标定裁剪；3)建立图像帧数据和标定裁剪数据的特征提取网络结构；4)建立特征融合模型，将步骤3)中提取的两种特征进行融合；5)利用Softmax回归模型分类器进行分类；6)根据实际的应用场景或公共数据集，对训练好的模型进行微调。本发明弥补目前深度神经网络模型在时间维度上卷积而造成信息丢失的一种情况，强化在时间维度上的特征的表达，整体提高模型的识别效率，使模型能够更好的理解人体的行为动作。

技术领域

本发明涉及人体行为识别分析的技术领域，尤其是指一种基于多目标检测3D CNN的人体行为识别方法及系统。

背景技术

人体行为识别指的是识别真实环境中的人类的行为表现或动作，可以在各个领域中进行应用。目前常见的应用场景有：智能监控、智能家居、人机交互和人体行为属性分析、预判等领域。然而，提升识别的准确率和效率仍然是一项十分具有挑战性的任务，也受到了所有研究人员的广泛关注。

在过去的几十年里，对人体行为特征的提取和表示主要停留在人工阶段，而人工对特征的设计、提取往往又取决了设计者的经验。常见的人工特征提取方法有：时空兴趣点(STIP)，视觉词袋(BOVW)，方向梯度直方图(HOG)，运动历史图形(MHI)，运动能量图像(MEI)等。人工特征的设计往往只是针对某一部分特定的数据即进行的，这样就导致了模型的泛化能力较差，不能够快速的迁移到别的应用上去，大大的增加了人工的成本。传统方法可以说是进入了一个瓶颈期。

深度学习在人体行为识别中的应用可以说是对传统识别方式上存在的不足的一个很大的弥补。主要体现在以下几个方面：(1)避免了人工特征提取的麻烦，简化了特征提取的过程；(2)由于深度神经网络都具有一定的反馈调节作用，在很大程度上加强了模型的泛化能力；(3)能够对复杂的特征进行自动降维；(4)在处理大数据的方面，能够大大的降低计算的开销和提高整体的执行效率；(5)对于无标签数据的识别分类，性能更优；(6)对于基于模态的行为识别的实现较为容易，只需要单独设计对应的深度学习模型进行特征的提取，然后对两个或多个网络模型的特征进行融合即可，这使得识别的准确度得到了很大的提升。

人体行为识别的分析和图像分类检测的一个最大的区别就在于是否包含了时间维度上的信息。因此，对于人体行为识别的分析不仅仅要从空间维度去提取行为特征，还要从其行为的时间维度上去发掘连续性的信息。这样才能够保证对一个连续性的行为动作的正确描述。

发明内容

本发明的目的在于克服目前深度神经网络模型在人体行为识别上时间维度信息捕获的不足，提出了一种基于多目标检测3D CNN的人体行为识别方法及系统，弥补其在时间维度上卷积而造成信息丢失的一种情况，强化在时间维度上的特征的表达，整体提高模型的识别效率，使模型能够更好的理解人体的行为动作。

为实现上述目的，本发明所提供的技术方案如下：

基于多目标检测3D CNN的人体行为识别方法，包括以下步骤：

1)对视频进行预处理，将视频流转化为图像帧；

2)采用SSD(全称：Single Shot MultiBox Detector)检测技术对视频中的目标对象进行标定裁剪；

3)建立图像帧数据和标定裁剪数据的特征提取网络结构；

4)建立特征融合模型，将步骤3)中提取的两种特征进行融合；

5)利用Softmax回归模型分类器进行分类；

6)根据实际的应用场景或公共数据集，对训练好的模型进行微调，增强模型的泛化、推广能力。

在步骤1)中，对视频进行预处理，将视频流转化为图像帧，包括以下步骤：