[发明专利]一种基于深度学习的视频行为识别方法

权利要求书

1.一种基于深度学习的视频行为识别方法，其特征在于，包括以下步骤：

S1.将人体行为视频数据随机均匀切帧处理，得到预设数量相等的帧图像数据；

S2.将每帧图像数据组成的数据集按照比例常数划分成训练集和测试集；

S3.采用进行每通道像素均值消减法分别对训练集和测试集中的帧图像数据进行归一化处理，得到帧图像处理数据；

S4.将帧图像处理数据输入特征提取网络ResNet-50中提取出图片的特征；

S5.将训练集对应的图片的特征输入循环神经网络进行训练，直到预测结果的正确率大于预设值时，得到预测循环神经网络模型；

S6.将测试集运用预测循环神经网络模型进行识别得到识别结果。

2.如权利要求1所述的一种基于深度学习的视频行为识别方法，其特征在于，步骤S2之前需要每帧图像数据进黑边处理，具体步骤如下：

1).将帧图像数据通过borderFinder函数在O(logn)时间复杂度内找到图片边缘所在的线；

2).去除帧图像数据的三通道像素值的和小于阈值的像素点，得到裁剪掉多余的黑边的帧剪裁图像数据。

3.如权利要求2所述的一种基于深度学习的视频行为识别方法，其特征在于，每通道像素均值消减法为：

1).计算训练集中的帧剪裁图像数据中每个通道像素值的平均值；

2).再将训练集中每张帧剪裁图像数据的每个通道的像素值减去对应通道的平均像素值，后除以对应通道像素值的方差得到每个像素处理后对应的值。

4.如权利要求1所述的一种基于深度学习的视频行为识别方法，其特征在于，步骤S4中，通过特征提取网络ResNet-50后生成一个长度为2048的特征向量。

5.如权利要求4所述的一种基于深度学习的视频行为识别方法，其特征在于，循环神经网络包括一个双向的LSTM网络，LSTM网络接收所述的特征向量，将每个时刻的特征向量输入网络后会输出该时刻的行为类别y_i以及上述的空间注意力矩阵p_i，然后通过一个在时间维度的注意力机制在综合每个时刻的输出的行为类别，得到预测结果；所述注意力机制为模型每个时刻的输出赋予一个权重，通将所有时刻输出进行加权求和得到模型的预测结果。