[发明专利]一种基于深度学习的睡觉行为检测方法

说明书

本发明涉及一种基于深度学习的睡觉行为检测方法，包括以下步骤：1)获取待测视频流，经切帧处理获得离散图片；2)依次将所述离散图片输入一训练好的卷积神经网络模型，检测获得睡觉姿势初步检测结果及相应置信度；3)基于多尺度检测方法对所有睡觉姿势初步检测结果进行筛选，获得睡觉姿势最终检测结果；4)根据所述睡觉姿势最终检测结果，采用基于位置信息的目标跟踪算法判断是否存在睡觉行为。与现有技术相比，本发明在目标检测模型中采用了特征融合提升准确率，同时采用了高准确率的睡觉行为决策算法，避免睡觉行为误判。

技术领域

本发明涉及深度学习技术领域，尤其是涉及一种基于深度学习的睡觉行为检测方法。

背景技术

在现代视频监控系统中，发展出了大量有用的人类行为分析技术。例如在驾驶员监控系统中，通过分析驾驶员的面部行为来判断驾驶员的疲劳程度；在十字路口监控中分析和预判行人行为来减少车祸发生的概率。在教室中基于视频流的学生行为分析对于教学工作有着很大的帮助，例如可以统计学生的打哈欠行为和睡觉行为来对教学效果进行评估，以及针对不同学生的行为分析，对学生作出有效指导。

但是对于学生的睡觉行为检测有几大难点：一、实时性，由于该技术要求基于视频流，所以对于处理速度有较高的要求；二、尺度多变性，由于透视的原因，教室后排与教室前排的目标尺寸区别明显；三、特征多变性，睡觉的姿势多种多样，不能采取固定的模板形式来进行相似度检测。四、易混淆性，有很多平常的姿势例如低头写字可能会与睡觉姿势非常相近，还有很多图像噪声可能会影响程序的判断。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的睡觉行为检测方法。

本发明的目的之一是检测到教室环境中和睡觉相似度较高的姿势。

本发明的目的之二是提高睡觉姿势检测的准确率和检全率。

本发明的目的之三是更准确地判定是否存在睡觉行为。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的睡觉行为检测方法，包括以下步骤：

1)获取待测视频流，经切帧处理获得离散图片；

2)依次将所述离散图片输入一训练好的卷积神经网络模型，检测获得睡觉姿势初步检测结果及相应置信度；

3)基于多尺度检测方法对所有睡觉姿势初步检测结果进行筛选，获得睡觉姿势最终检测结果；

4)根据所述睡觉姿势最终检测结果，采用基于位置信息的目标跟踪算法判断是否存在睡觉行为。

进一步地，所述卷积神经网络模型的特征提取过程中，对多个卷积层的输出特征进行融合，输入可变形位置敏感兴趣区域池化，实现补偿。

进一步地，所述卷积神经网络模型的训练过程具体为：

对样本库中的图片进行预处理，所述预处理包括像素缩放和颜色通道处理；

以预处理后的图片输入卷积神经网络模型完成训练。

进一步地，所述基于多尺度检测方法对所有睡觉姿势初步检测结果进行筛选的具体过程包括：

301)将所有的睡觉姿势初步检测结果按照置信度从高到低排列，舍弃置信度小于预选置信度conf1的检测结果；

302)判断剩余检测结果中是否存在同时满足置信度小于入选置信度conf2、长宽平均值小于小框阈值small1和长宽比在长宽比阈值ratio1和ratio2之间的检测结果，若是，则筛选出满足条件的检测结果，若否，则直接执行步骤304)；

303)分别以满足条件的检测结果为中心局部放大X倍后再输入所述卷积神经网络模型中，更新各检测结果的置信度；