[发明专利]一种基于人体关键点的员工手势指引检测方法

说明书

本发明公开了一种基于人体关键点的员工手势指引检测方法。在Faster RCNN网络的损失函数中加入度量学习函数采样难样本训练网络；使用COCO数据集通过交叉验证法训练CPM网络；训练好的Faster RCNN模型根据输入的测试图像，得到员工的位置坐标，裁剪出员工图像；将员工图像输入CPM模型根据输入的员工图像，检测得到人体关键点，根据关键点连线的夹角判断员工是否有手势指引。本发明基于人体关键点检测来判断员工在服务顾客时是否有手势指引，与基于外观的表示方法不同，关键点特征是紧凑且强结构性的特征，带有丰富的语义信息，对人类动作与运动具有高度描述性，判断准确性更高。

技术领域

本发明涉及目标检测，人体关键点检测，深度学习等领域，尤其涉及一种基于人体关键点的员工手势指引检测方法。

背景技术

随着信息技术的发展，人们对人体姿态的分析需求越来越大，比如：企业希望知道员工在服务顾客时有没有做手势指引，学校需要及时的知道校园里有没有打架斗殴事件，影院领导需要知道电影院检票口有没有员工在倚靠趴扶等。想及时了解这些信息都要对人体姿态进行分析识别，这类人体姿态识别需要借助于人体关键点检测，人体关键点检测是指从一张含有人体图像中对人体骨架上的关键点进行建模估计。由于人体具有柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响。

现有解决人体关键点检测算法基本上是在几何先验的基础上基于模板匹配的思路来进行，核心就在于如何去用模板表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系表示。一个好的模板匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。但是也存在一定的缺陷，设计模板难度大。基于以上分析，有人提出了基于深度学习的方法，比如G-RMI、CFN、RMPE、Mask R-CNN。深度学习进行人体姿态识别的做法是将含有人体图像输入到网络结构中，进行一系列非线性处理得到人体骨架关键点姿态图像，将生成的人体关键点坐标与真实标注的人体关键点坐标进行比较得出差值，将此差值作为损失函数，通过求梯度来最小化这个损失值，并利用反向传播更新网络权重，多次迭代直到该损失函数不变为止。

目前亟待解决的问题有：两个网络级联，人体关键点检测网络的效果极大的受制于目标检测网络的结果，而目标检测网络对于相似度较大的人员检测和分类效果较好，对于外部特征相似的员工检测效果较差，同时人体关键点检测基于传统模板匹配思路鲁棒性不高，模板制作较难，匹配容易受环境影响。基于深度学习的方法能更好的提取人体特征，但是大部分网络模型是基于分类的思想，将不同的行为分为不同的类别。当行为较多时，需要分类的类别就增多，并且有些类别之间存在极大的相似，很难使用分类网络来进行区分。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于人体关键点的员工手势指引检测方法。使用Faster RCNN检测员工的具体位置坐标，根据坐标裁剪输入的图像；将裁剪后的员工图像使用CPM网络模型进行人体关键点检测；根据检测到的人体关键点，连接跟姿态相关联的关键点，计算连线之间的夹角判断员工是否有手势指引。

为了实现上述目的，本发明提供了一种基于人体关键点的员工手势指引检测方法，包括以下步骤：

S1、在应用场景下进行员工图像样本数据集的采集和标注，并对样本数据集进行预处理；

S2、在Faster RCNN网络训练过程中，引入度量函数筛选出样本数据集中的难样本，然后使用筛选出的难样本训练网络，生成训练好的Faster RCNN模型；

S3、使用公开的COCO数据集训练CPM人体关键点检测网络，生成训练好的CPM模型；

S4、视频采集员工的工作场景图像作为待测图像，将待测图像输入到步骤 S2生成的Faster RCNN模型中，输出员工的位置坐标；根据员工的位置坐标裁剪出员工图像；