[发明专利]一种基于人体姿态估计和图像分类的吸烟行为检测方法

权利要求书

1.一种基于人体姿态估计和图像分类的吸烟行为检测方法，其特征在于，包括网络训练阶段和实时检测阶段，所述网络训练阶段包括：

步骤1：获取吸烟视频数据，采用opencv读取视频，在软件配置文件中设置参数，对视频的每一帧进行预处理，将图像按比例缩放到指定大小，多余部分填充均值128，除以255进行归一化；

步骤2：对于预处理后的视频帧，采用YoloV3目标检测方法进行人体框检测，当视频出现人像模糊，检测率不高时，将置信度阈值降低，若检测效果仍不好，则采集视频数据，抽帧后进行人工标注，制作人体检测数据集，训练YoloV3网络，得到人体框坐标，用框在视频帧上面进行剪裁，得到需要进行人体姿态估计的子图；

步骤3：以所述子图作为输入，使用改进后的人体姿态估计方法AlphaPose进行关键点检测提取，具体包括：所述改进后的人体姿态估计方法AlphaPose在使用人体框坐标去原图裁剪出子图的步骤，不使用仿射变换，重写裁剪函数，进行关键点提取得到人体部位关键点，并保存人体部位的嘴部、左手腕、右手腕这三个关键点的位置；

步骤4：进行关键点距离判断，制作分类网络数据集，设计图像分类网络模型，进行网络训练，具体包括：

步骤4.1：根据所述左手腕、右手腕和嘴部关键点的位置和所述人体框坐标，得到人体框宽度的像素值，根据人体框宽度设定距离阈值，然后进行判断：当有任意手腕与嘴部的距离小于设定的距离阈值，则对当前帧图像进行截取，作为训练数据，截取区域为以嘴部关键点为中心的正方形图片，对图片进行人工筛选，选出吸烟和不吸烟的图像分成两个类别，制作成数据集，再将数据集划分成训练集和验证集；

步骤4.2：图像分类网络模型设计：在Resnet18网络的基础上，结合步骤4.1中的数据集，所述数据集图像尺寸较小，并且烟在图像中占比更小，进行网络调整，将Resnet18网络输入图像的尺寸从224像素缩小为64像素，减小上采样带来的噪声，将resnet18的第一个卷积层中stride减小，不进行下采样尺寸缩小；在网络第一个卷积层之后增加一个卷积层，通道数不变，不进行下采样，相应的在卷积后面增加批归一化操作和relu激活函数；减少网络的下采样层，删除Resnet18原本的Maxpool一层，保留图像的细节特征；网络优化器为Adam，设置学习率，损失函数采用交叉熵；

步骤4.3：使用步骤4.1中制作的数据集在网络模型中进行训练，采用水平翻转和裁剪操作扩充数据，裁剪时填充的像素设置较少，然后迭代，保留在验证集准确度最优的网络模型；

所述实时检测阶段包括：在需要进行吸烟行为检测的区部署监控摄像头，实时读取监控视频，采用同网络训练阶段相同的软件配置参数，经过相同的预处理、YoloV3人体框检测、改进后的AlphaPose关键点检测，进行关键点距离判断，采用训练好的网络模型对图像进行分类，得到监控视频的实时吸烟行为检测结果。

2.如权利要求1所述的一种基于人体姿态估计和图像分类的吸烟行为检测方法，其特征在于，所述步骤4.3的训练包括：对卷积神经网络的分类决策过程进行可视化网络调试，对分类网络绘制热力图，查看网络模型是否能够定位到烟的特征，即在图像中烟的位置网络参数值最大，并且以烟为中心，参数值向四周递减，当网络不能正确定位到烟的特征而分类错误时，对网络进行调整，重新训练。

3.如权利要求1所述的一种基于人体姿态估计和图像分类的吸烟行为检测方法，其特征在于，所述实时检测阶段具体为：获取实时监控视频，进行YoloV3人体框检测、人体关键点数据提取并采用训练好的模型判断图像中每个人是否有可能吸烟的情况：当左、右手腕和嘴部关键点距离小于阈值时，采用图像分类网络模型进行分类，分类结果是为吸烟，则报警处理，并保存结果视频，分类结果为不吸烟，则不进行报警处理，保存结果视频；当左、右手腕和嘴部关键点距离大于阈值时，不进行分类处理，直接判定为不吸烟，不进行报警处理，保存结果视频。