[发明专利]一种银行柜台人员举手识别方法及系统

说明书

本发明公开了一种银行柜台人员举手识别方法及系统，方法包括：利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片并分别进行预处理；将预处理后的数据输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和其手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。本发明能够在GPU 1080Ti的主机上以10+ms的推理速度完成举手的动作识别，提高目标事件识别精度和效率。

技术领域

本发明涉及图像识别领域，尤其涉及一种银行柜台人员举手识别方法及系统。

背景技术

在超市、酒店、银行或商场等消费场所的收银台处，收银员可以使用收银机对客户的消费行为进行结算。同时，商家可以根据监控系统所监控或记录的视频和相关收银行为规范，来检查收银员的收银行为是否违规。

而对于人工服务的银行，不管客户是需要办理低权限的业务，还是需要办理高权限的业务，都采用人工服务的方式进行无区别处理方式，全程都使人工服务的柜台服务人员陪同办理，但是在人工服务过程中银行柜台人员的行为是否符合行为规范这一问题光靠人员监控不能及时发现，且监控过程中增加了人工成本，无法及时监督和管理柜台人员的行为规范。

同时目前常用的姿态识别技术手段往往过于耗时，而且针对于俯视角的内部监控的关键点数据收集和标注比较困难。因此缺乏一种能自动识别工作人员举手动作的方法和系统。

发明内容

本发明的目的在于克服现有技术的不足，提供一种银行柜台人员举手识别方法及系统，首先针对输入视频和图片做预处理，预处理的图像输入到目标检测模型进行推理，输出人和举手时手的位置（如果存在）。设定重合度的阈值，计算每个人的位置框和图像中每一个只举起的手的重合度，并与阈值进行比较，如果得到的计算值超过阈值则认为这个人举手，否则不认为当前判断的人举手。

本发明的目的是通过以下技术方案来实现的：

一种银行柜台人员举手识别方法，包括以下步骤：

步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；

步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；

步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。

具体的，所述步骤二具体包括以下子步骤：

S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN-backbone主干网络提取特征图中；

S202，CNN-backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3-Head检测头生成三个不同尺度的检测结果特征图；

S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身体位置和工作人员举手时的手部位置。

具体的，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：