[发明专利]一种基于视频流的抽烟行为和打电话行为识别方法

权利要求书

1.一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：包括以下步骤：

S1：采集模型训练的数据集，从监控设备中获取现场视频数据，然后将获取的数据集进行数据增强处理；

S2：安装编译支持3D卷积的caffe框架；

S3：搭建基于Tiny_darknet-3D深度学习的分类网络架构，将数据集分别送入抽烟分类的3D卷积网络和打电话分类的3D卷积网络；

S4：设置训练网络模型的超参数，利用随机梯度下降算法进行模型的迭代训练；

S5：从待监测场景的监控设备中，直接获取监控视频流，从而获取待检测图像信息；

S6：将步骤S5中获取的视频数据送入步骤S3中预先训练好的模型进行3D卷积处理，并输出分类结果，模型输出的分类结果包括目标所属的类别和对应的置信值；

S7：根据目标的置信值，设置一个阈值，去除置信值较低的目标，排除误检，根据检测出抽烟或打电话的视频流进行随机的图像抓取，然后保存图像。

2.根据权利要求1所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：步骤S1中利用的数据增强处理包括镜像处理、高斯模糊、视频旋转；

数据集中训练集和测试集的样本比例为10∶1。

3.根据权利要求1所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：步骤S1中利用的卷积网络采用Tiny_darknet-3D网络，网络每次输入大小resize为224*224的8帧视频图片，用(c,l,h,w)大小来表示一个视频片段，c表示每一帧图像的channel,l表示视频的帧数，h,w表示视频的图像宽高，(d,k,k)表示卷积核，d表示的就是时间维度的核大小，k表示空间维度的核大小。

4.根据权利要求3所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：卷积网络选取的卷积核为(3,3,3)，即将时间维度看成是第三维，3D卷积通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核对8帧图片进行融合卷积，在这个结构中，卷积层中每一个map都会与上一层中多个邻近的连续帧相连，以捕捉物体的运动信息。

5.根据权利要求3所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：训练采用随机裁剪的方式，h和w大小不小于160像素，卷积网络包括15个卷积层、6个池化层、1个全连接层、1个softmax损失函数层。

6.根据权利要求5所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：每次训练采用32个视频片段，即mini_batch＝32。

7.根据权利要求1所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：步骤S1中利用的设置训练网络模型的超参数是指设置初始学习率为0.001，每迭代16000次学习率下降0.1，总共降4次，训练的总迭代次数一般设置为每组数据训练4次。

8.根据权利要求1所述的一种基于视频流的抽烟行为和打电话行为识别方法，其特征在于：步骤S3中利用的Tiny_darknet-3D网络的softmaxWithLoss层中loss值的计算方法如下公式所示：

其中，为标签值,k为图像标签对应的神经元，Loss_{抽烟或打电话}为模型损失函数，z_i为模型预测类别的概率输出值，m为最大类别概率输出值,即m＝max(z_i)。