[发明专利]一种针对特殊场景的打电话或抽烟行为识别方法

权利要求书

1.一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：具体步骤包括，

S1、采集实时监控图像；

S2、进行人脸检测，确定潜在ROI区域；

S3、对图像进行校正，生成待分类图像；

S4、将行为分为数个类别，收集每个类别的训练数据进行深度学习训练，获得多分类模型，将待分类图像输入分类模型，输出对应每个类别的置信度值和待分类图像的特征；

S5、待分类图像的特征与特征集合中的每一个元素进行相似度计算，保存每个类别中相似度计算最高的值；

S6、对应类别的置信度值与相似度值相乘，取乘积最大值的类别为当前帧的最终类别，连续数帧图像中有三分之二的图像的最终类别为同一类别，输出最终类别；

S7、根据最终类别对应的行为，输出是否打电话或抽烟的结果。

2.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤S2中采用centerface网络进行人脸检测，具体为首先将步骤S1中输出的视频帧缩放至centerface网络所支持的图像尺寸，再通过卷积、池化或激活获得图像中所有人脸位置以及每个人脸的五个关键点，五个关键点分别是左眼球点、右眼球点、鼻尖点、左嘴角点、右嘴角点。

3.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤S3中进行图像校正生成待分类图像的具体步骤为，

S31、取待校正关键点集合P＝{p1,p2,p3,p4,p5}，其中p1、p2、p3、p4和p5分别为待校正关键点的二维坐标(xi，yi)，i属于[1,5]，设标准关键点集合S＝{s1,s2,s3,s4,s5}，其中s1、s2、s3、s4、s5分别为标准关键点的二维坐标(xi，yi)，i属于[1,5]；

S32、分别计算集合P和集合S的标准差；

S33、将集合P和集合S的元素分别除以对应的标准差，获得新的集合P’和S’；

S34、将两个新的集合P’和S’相乘获得矩阵M，对矩阵M进行SVD分解，组合后得到旋转矩阵和平行矩阵，并以转换后的鼻尖点为中心截取尺寸为224×224像素的图像为所述待分类图像。

4.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤S4中将行为分为数个类别的具体类别数量为8个，分别为类别一：手夹烟，类别二：嘴叼烟，类别三：嘴吸烟同时手夹烟，类别四：手拿电话，类别五：手拿电话放耳旁，类别六：手摸嘴，类别七：手摸耳朵，类别八：其他。

5.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤S4中采用resnet50网络进行深度学习训练，将待分类图像输入resnet50网络，输出各分类置信度的同时输出降维后的256维特征。

6.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤S4中训练数据输出的最大置信度类别与真实类别不符时，提取网络全连接层之前的2048维度的深度特征，使用PCA降维的方法，将2048维的特征，降维为256维的特征，保存作为错误分类的特征数据库。

7.根据权利要求1所述的一种针对特殊场景的打电话或抽烟行为识别方法，其特征在于：所述步骤5中相似度计算方法为，待分类图像的特征记为f，特征数据库中的特征集合记为F，F＝{f’1，f’2,……,f’n},其中f,为特征集合F中的元素，n为特征集合中特征的个数，将f与f,1～f,n逐一进行相似度计算，计算公式为

sim＝f×f′/(norm(f)×norm(f’))

其中norm()函数的计算公式为

其中V为特征f中的元素。