[发明专利]一种基于人体姿态估计和图像分类的吸烟行为检测方法

说明书

本发明属于视频行为分析技术领域，涉及一种基于人体姿态估计和图像分类的吸烟行为检测方法，首先读取检测区域监控视频，对视频帧进行预处理和归一化，然后采用YoloV3目标检测方法进行人体框检测，得到人体框位置坐标，在视频帧上面进行剪裁，得到需要进行人体姿态估计的子图，再以所述子图作为输入，使用改进后的人体姿态估计的方法AlphaPose进行人体关键点检测提取，通过定位嘴部和左、右手腕关键点，截取相应的局部图像块，制作分类网络数据集，设计图像分类网络模型，进行网络训练，得到吸烟分类模型，再采用训练好的模型对实时图像进行分类判断，得到视频的吸烟行为检测结果。本发明较好的弥补了两种方法的不足，同时改进算法，提升了检测效率。

技术领域

本发明属于视频行为分析技术领域，涉及一种基于人体姿态估计和图像分类的吸烟行为检测方法。

背景技术

吸烟有害身体健康，在公共场合和室内环境吸烟，容易因为二手烟而诱发疾病；在工厂的一些特定的工作区域，吸烟产生的烟火可能会导致危险发生。因此，出于人们身体健康和安全生产的要求，需要对吸烟行为进行自动化检测和处理。

随着计算机技术和深度学习方法的发展，能够实现对视频监控数据的实时的全天候的处理，但是吸烟行为检测仍然存在瓶颈：一类方法是基于姿态估计的吸烟行为检测方法，该方法缺乏图像像素信息，相似的动作容易误识别为吸烟导致检测准确度不高；一类方法是基于图像检测的方法，该方法中烟在图像中占比较小，检测难度大，准确率低，同时，大量的视频监控数据对算法的运行效率也提出了更高的要求，需要更高效的算法。

发明内容

为了解决现有技术中存在的上述技术问题，本发明的目的在于提出一种结合人体姿态估计和图像分类的吸烟行为的检测方法，旨在自动化识别禁止吸烟的场所发生的吸烟行为，其具体技术方案如下。

一种基于人体姿态估计和图像分类的吸烟行为检测方法，包括网络训练阶段和实时检测阶段，所述网络训练阶段包括：

步骤1：获取吸烟视频数据，采用opencv读取视频，在软件配置文件中设置参数，对视频的每一帧进行预处理，将图像按比例缩放到指定大小，多余部分填充均值128，除以255进行归一化；

步骤2：对于预处理后的视频帧，采用YoloV3目标检测方法进行人体框检测，当视频出现人像模糊，检测率不高时，将置信度阈值降低，若检测效果仍不好，则采集视频数据，抽帧后进行人工标注，制作人体检测数据集，训练YoloV3网络，得到人体框坐标，用框在视频帧上面进行剪裁，得到需要进行人体姿态估计的子图；

步骤3：以所述子图作为输入，使用改进后的人体姿态估计方法AlphaPose进行关键点检测提取；

步骤4：进行关键点距离判断，制作分类网络数据集，设计图像分类网络模型，进行网络训练；

所述实时检测阶段包括：在需要进行吸烟行为检测的区部署监控摄像头，实时读取监控视频，采用同网络训练阶段相同的软件配置参数，经过相同的预处理、YoloV3人体框检测、改进后的AlphaPose关键点检测，进行关键点距离判断，采用训练好的网络模型对图像进行分类，得到监控视频的实时吸烟行为检测结果。

进一步的，所述的步骤3具体包括：所述改进后的人体姿态估计方法AlphaPose在使用人体框坐标去原图裁剪出子图的步骤，不使用仿射变换，重写裁剪函数，进行关键点提取得到人体部位关键点，并保存人体部位的嘴部、左手腕、右手腕这三个关键点的位置。

进一步的，所述步骤4具体包括：

步骤4.1：制作数据集：根据所述左、右手腕和嘴部关键点的位置和所述人体框位置坐标，得到人体框宽度的像素值，根据人体框宽度设定距离阈值，然后进行判断：当有任意手腕与嘴部的距离小于设定的距离阈值，则对该帧图像进行截取，作为训练数据，截取区域为以嘴部关键点为中心的正方形图片，对图片进行人工筛选，选出吸烟和不吸烟的图像分成两个类别，制作成数据集，再将数据集划分成训练集和验证集；