[发明专利]一种睡岗行为检测方法及系统

说明书

本申请公开了一种睡岗行为检测方法及系统，属于图像处理领域，其中方法包括：采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像送入目标检测网络；采用目标检测网络对每一帧RGB图像进行目标检测，得到每一帧RGB图像的人体检测框；采用目标跟踪算法对每一帧RGB图像的人体检测框进行目标跟踪，计算T时间内属于同一目标的检测框的中心点变化；采用行为识别网络对所述对应的RGB图像中目标进行图像分类，判定是否属于睡岗行为。本申请的方法大大减少网络权重以及计算量，提高了在边缘设备上目标检测速度和准确度。

技术领域

本发明属于图像处理领域，具体涉及一种睡岗行为检测方法及系统。

背景技术

如何检测员工睡岗行为一直以来都是许多管理人员思考的问题，因为一些特定场景需要员工时刻保持专注，如加油值班员、塔台管理员等，是严厉禁止随意离岗睡岗的，因为此类行为可能会引起重大事故。而此类岗位24小时安全监督管理又有一定困难，因此促生了值班室视频监控系统的出现。

传统的视频监控系统是以人工为前提。但采用人工监管的方式同样会存在监管人员疏忽、怠惰的问题。因此采用自动化的智能分析系统才是一种行之有效的安全监管方式。

人体行为检测是智能视频监控的关键应用领域之一。如今人类行为检测技术广泛应用于多个领域，如智能视频监控、视频搜索与检索、虚拟现实(VR)技术、人机交互以及自动驾驶等。传统的人体行为检测技术先使用手工设计特征提取模型，如HOG特征、Haar特征；而后利用提取的特征进行行为分类，如支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest，RF)等。但传统的机器学习方式由于手工设计特征、泛化能力较差等原因，在实际使用中效果较差。近年来，目标检测领域涌现一大批优秀的算法，如Faster-RCNN、YOLO、SSD等，这些目标检测算法的出现为行为检测问题提供了一种新的思路。即先使用目标检测算法进行人体目标捕捉，而后结合性能优秀的图像分类网络进行行为分类，识别出指定行为的图像。

在行为检测方面如今有两种常用的检测算法：目标检测算法以及人体姿态估计算法。从具体实现上看，姿态估计算法将生成人体姿态如头部、肩部和膝盖等部位的关键点。然而，在实际工作场景下，员工的身体经常被遮挡，造成很多关键点遗失。此外，由于睡岗姿势多变，如头朝下睡觉、侧趴着睡觉、仰着睡觉等，几乎找不到一个可以准确表示人体关键点与特定姿势的映射关系，因此这种方法同样具有较大的局限性。

与此同时，在许多实际工业生产环境下，将相关深度学习算法移植到功耗较低、数据保密性高、维护成本较低的嵌入式设备已成为一种潮流。但由于嵌入式设备计算性能、内存空间、算子兼容性等多方面的限制，一些学术上提出的神经网络拥有较好的性能，但却因为睡岗检测算法计算量大、模型复杂，通常难以将其移植到嵌入式设备中。

发明内容

为解决现有技术中的不足，本申请提出一种睡岗行为检测方法及系统。

第一方面，本申请提出一种睡岗行为检测方法，包括如下步骤：

步骤S1：采集值班室实景图像，经过嵌入式芯片硬件解码后，将解码出的每一帧RGB图像送入目标检测网络；

步骤S2：采用目标检测网络对每一帧RGB图像进行目标检测，得到每一帧RGB图像的人体检测框；

步骤S3：采用目标跟踪算法对每一帧RGB图像的人体检测框进行目标跟踪，计算T时间内属于同一目标的检测框的中心点变化；

步骤S4：判断中心点变化是否小于第一阈值；

步骤S5：当中心点变化小于第一阈值时，将对应的RGB图像传递给行为识别网络，转到步骤S7；

步骤S6：当中心点大于等于第一阈值时，则输出识别结果为未发现睡岗行为；