[发明专利]采样方法、模型生成方法、视频行为识别方法及装置

说明书

本发明提供了一种视频行为数据采样方法、视频行为识别模型生成方法、视频行为识别方法、电子设备及计算机可读存储介质，其中，该采样方法包括：从视频的编码数据中提取所述视频的第一中间帧的编码信息；所述编码信息包括运动向量；根据所述第一中间帧的不同编码单元的编码信息之间的差异情况确定所述第一中间帧的特征区域；在确定的所述第一中间帧的特征区域对应的编码单元的编码信息中的运动向量大于或等于设定运动阈值的情况下，根据所述第一中间帧的特征区域确定第一取样单元；根据所述第一取样单元确定对所述视频采样的数据。通过上述方案本发明能够对视频进行有效采样，从而提高视频行为识别的效果。

技术领域

本发明涉及视频分析技术领域，尤其涉及一种采样方法、模型生成方法、视频行为识别方法及装置。

背景技术

行为识别是视频分析的重要一环，在安防、行为分析等领域有众多应用，近些年来面向视频的行为识别算法受到了很大关注。

视频行为识别可以分为基于光流的传统算法和基于深度学习的智能算法。基于光流的行为识别算法，以像素为计算单位，对视频中的某几帧进行处理，计算量大但稳定性较好。以提升的密集轨迹算法(IDT，Improved Dense Trajectories)为代表，包括密集采样特征点、特征点轨迹跟踪和基于轨迹的特征提取几个部分。

基于深度学习的智能行为识别算法以图像智能识别算法为基础，近几年取得了超过传统算法的精度。智能行为识别主要分为双流算法以及3d卷积网络两类。双流算法使用两个神经网络分别提取视频的时间空间信息，并将两股信息融合最终得到识别结果。C3D网络通过3d卷积核直接提取视频数据的时间和空间特征，此种方法速度较快，能达到上百FPS。

然而，基于光流的行为识别算法以像素为计算单位，每处理一个帧，需要对图像中所有的像素进行计算。这种方法计算量大，且随着视频清晰度上升、像素数量增加，这种算法的计算速度将受到严重影响，因此不适用于高清视频的行为分析。

基于深度学习的双流神经网在计算时域信息时使用光流信息。此光流信息由像素获取，因此在分析高清视频的行为时计算速度较慢。同样基于深度学习的3D卷积神经网络(C3D)虽然速度较快，但是精度相较于双流神经网络偏低。

因此，基于深度学习的智能行为识别算法缺少更有效的视频采样方法。

发明内容

本发明提供了一种采样方法、模型生成方法、视频行为识别方法及装置，以对视频进行有效采样，从而提高视频行为识别的效果。

为了达到上述目的，本发明采用以下方案实现：

根据本发明实施例的一个方面，提供了一种视频行为数据采样方法，包括：

从视频的编码数据中提取所述视频的第一中间帧的编码信息；所述编码信息包括运动向量；

根据所述第一中间帧的不同编码单元的编码信息之间的差异情况确定所述第一中间帧的特征区域；

在确定的所述第一中间帧的特征区域对应的编码单元的编码信息中的运动向量大于或等于设定运动阈值的情况下，根据所述第一中间帧的特征区域确定第一取样单元；

根据所述第一取样单元确定对所述视频采样的数据。

根据本发明实施例的另一个方面，提供了一种视频行为识别模型生成方法，包括：

利用上述实施例所述的视频行为数据采样方法分别对多个视频进行采样，并根据每个所述视频的采样结果生成一个训练样本；

利用所有所述视频对应形成的训练样本对初始神经网络进行训练，得到视频行为识别模型。

根据本发明实施例的又一个方面，提供了一种视频行为识别方法，包括：