[发明专利]一种基于人体关键点的员工手势指引检测方法

权利要求书

1.一种基于人体关键点的员工手势指引检测方法，其特征在于，包括以下步骤：

S1、在应用场景下进行员工图像样本数据集的采集和标注，并对样本数据集进行预处理；

S2、在Faster RCNN网络训练过程中，引入度量函数筛选出样本数据集中的难样本，然后使用筛选出的难样本训练网络，生成训练好的Faster RCNN模型；

S3、使用公开的COCO数据集训练CPM人体关键点检测网络，生成训练好的CPM模型；

S4、视频采集员工的工作场景图像作为待测图像，将待测图像输入到步骤S2生成的Faster RCNN模型中，输出员工的位置坐标；根据员工的位置坐标裁剪出员工图像；

S5、将步骤S4裁剪得到的员工图像输入到步骤S3生成的CPM模型中，输出人体关键点，根据人体关键点连线的夹角判断员工是否有手势指引，若检测到员工的手势指引不符合员工服务规范预设的标准，则发出提醒信号。

2.根据权利要求1所述的一种基于人体关键点的员工手势指引检测方法，其特征在于，所述的步骤S1具体为：

S11、在实际应用场景中使用监控摄像头采集1000张员工图像作为正例样本，再从COCO数据集中筛选出1000张行人图像作为负例样本，正例样本和负例样本构成样本数据集；

S12、对采集到的1000张员工图像使用labelImg工具进行标注，每张图像经过labelImg工具标注后自动生成与图像对应的.xml文件，文件中保存了员工在图像中的位置坐标；

S13、对样本数据集进行预处理，包括样本数据集的标准化、缩放、翻转。

3.根据权利要求1所述的一种基于人体关键点的员工手势指引检测方法，其特征在于，所述的步骤S2具体为：

所述的Faster RCNN目标检测网络包括卷积层、RPN网络、Roi Pooling层、分类回归网络；首先将图片输入到ZF的可共享的卷积层中，将最后一个共享卷积层的输出作为初始特征图；接下来使用得到的初始特征图进行两个检测阶段，第一阶段使用RPN网络对通过锚点框生成的预选框进行粗筛选，然后将粗筛选后的预选框映射到原图像上作为预测框；第二阶段将预测框和初始特征图输入到RoiPooling层形成固定大小的目标特征图并进行全连接操作，在分类回归网络中利用Softmax进行具体类别的分类以及边界框的回归，获得员工的精确位置坐标；

对Faster RCNN网络进行训练时，对于每一个训练batch，首先通过距离度量函数筛选出batch中每一幅图像a对应的一个距离最大的正样本p和一个距离最小的负样本n，a与p、a与n构成两对难识别样本；使用筛选出的难识别样本对网络进行训练，训练过程采用随机梯度下降法反向传播更新网络的参数，最后得到训练完成的Faster RCNN模型并保存为.pth文件；

网络训练中的分类损失函数公式为：

其中：N_clas表示类别数，表示第i幅图像的类别标签；d_p,a表示图像p与图像a之间的欧式距离，d_n,a表示图像n与图像a之间的欧式距离；A表示与图像a具有相同类别标签的图像集；B表示与图像a具有不同类别标签的图像集；

网络训练中的回归损失函数公式为：

其中：N_reg，λ是超参数，为了平衡分类损失和回归损失的权重；表示第i幅图像的类别标签；t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示回归训练阶段预测的偏移量；表示回归训练阶段实际的偏移量。