[发明专利]一种基于CenterNet的实时吸烟检测方法及装置

权利要求书

1.一种基于CenterNet的实时吸烟检测方法，其特征在于，首先采集包含吸烟行为的视频图像，制作样本数据集，根据所述数据集训练香烟检测模型；

对待检测场景进行检测，分别提取人脸和人手区域，送入后续设计的分类器网络中，综合两区域输出得到吸烟行为识别判断结果。

2.根据权利要求1所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，采集包括吸烟行为的视频图像中，通过截取下载视频或视频流中的图像帧、拍摄自定义图像、通过爬取包含吸烟行为的图像或检索网上吸烟检测的开源数据集进行采集。

3.根据权利要求2所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，所述的香烟检测模型为CenterNet检测模型，将图像预处理并将尺寸固定为512×512大小；

首先经过一个步长为2的7×7卷积和步长为2的残差单元，将图片的宽高压缩为原来的1/4，之后经过第一个沙漏模块，经过下采样和上采样之后，完成一次特征提取和精炼。

4.根据权利要求3所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，经过一个连接结构，第二个沙漏模块与所述第一个沙漏模块相连，在下采样和上采样模块中，选择对ResNet增添上采样模块，变成U型的网络结构，沙漏模块前后特征图尺寸不变；

随后输出的特征图尺寸为128×128×256，特征图经过处理后有三个输出：第一个为HeatMap，中心点位置的热力图表示；

第二个为Offset，对所述HeatMap的输出进行精炼，提高定位的准确度；

第三个为HeightWidth，预测以关键点为中心的检测框的宽高。

5.根据权利要求4所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，中心点热力图表示为W/R×H/R×C维的[0,1]之间的分布，其中C为类别的数量,W和H表示输入图片的宽和高，R表示步长；

如果预测值接近于1，表示格子内有一个待检目标，如果接近于0表示为背景；

在训练阶段，检测中心点的损失函数用类似于focal loss的公式表示，Offset表示预测出的中心点的偏移量，训练时采用的是L1 loss，边框的宽和高，经过左上和右下两个点的中间表示，通过中心点坐标和GT label进行回归，采用的也是L1损失；

对不同损失项增添相应的权重系数，相加得到总的损失。

6.根据权利要求5所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，在推理阶段，首先通过实时视频流协议按照一定的帧数间隔读取视频，将帧进行简单预处理后输入到CenterNet检测模型中；

模型的后处理为对预测的HeatMap、offset和HeightWidth进行解码从而得到Bounding Box的过程，其中对HeatMap进行NMS处理，CenterNet采用3×3的max-pooling方式对HeatMap提取峰值；

然后进行topK操作得到置信度排名前K的置信度得分、索引、类别和中心点坐标。

7.根据权利要求6所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，在所述根据分类器网络中，采用的是基于注意力机制的SE-ResNet-50，将SE Block嵌入到ResNet中，所述SE Block包括Squeeze模块、Excitation模块和Scale模块；

所述Squeeze模块中采用Global Pooling全局池化或者Average Pooling平均池化进行信息嵌入的过程，实质上就是特征图降维的过程；

将H和W压缩为1×1，整个空间维度上用1个值来表示，得到一个1×1×C的向量，C为输入Squeeze模块的特征图通道数，如果采用平均池化的方法，公式如下：