[发明专利]基于轻量化人脸口罩检测模型的视频处理方法

权利要求书

1.一种基于轻量化人脸口罩检测模型的视频处理方法，其特征在于，使用人脸数据集构建得到的人脸检测模型向样本图像中添加人脸位置标注和人脸关键点标注，并进一步在样本图像上对应的人脸位置添加人工标注后经裁剪处理，得到训练样本校正后用于对轻量级口罩分类深度模型进行训练，再将训练后得到的模型与人脸检测模型使用区域图像抽取模块进行级联得到视频流检测分类模块，并将视频流中每一帧连续输入到人脸检测模型，模型输出当前帧所含所有人脸的位置、人脸关键点和佩戴口罩情况的信息；

所述的样本图像中的每张图片中至少含有1张完整的人脸图像，且同时包括带口罩和不带口罩的人脸照片；

所述的人工标注包括：正确佩戴医用口罩、正确佩戴口罩、未正确佩戴口罩、未佩戴口罩。

2.根据权利要求1所述的基于轻量化人脸口罩检测模型的视频处理方法，其特征是，所述的裁剪是指：基于人脸位置标注对样本图像进行裁切；并对裁剪后的人脸图片中的侧脸图片进行校正处理，具体为：根据人脸关键点对裁剪后的人脸图片中的侧脸图片进行校正，得到校正后的正脸图片后进一步添加人工标注。

3.根据权利要求1或2所述的基于轻量化人脸口罩检测模型的视频处理方法，其特征是，所述的人脸位置标注是指：为样本图像中的每一张的人脸边框在图像中的左下角坐标和右上角坐标；

所述的人脸关键点标注是指：为样本图像中的每一张图像的每一个人脸的左瞳孔中心坐标、右瞳孔中心坐标、鼻尖坐标、左嘴角坐标和右嘴角坐标；标注中的每一个坐标为一个二维点，原点为图片左上角，单位为像素，第一个维度代表从上到下的像素坐标，第二个维度代表从左到右的像素坐标。

4.根据权利要求2所述的基于轻量化人脸口罩检测模型的视频处理方法，其特征是，所述的裁切，根据人脸边框先进行衬垫操作，对于上下两边，衬垫长度为人脸边框的高度乘以0.25后四舍五入取整，对于左右两边衬垫长度为人脸边框的宽度乘以0.2后四舍五入取整，衬垫操作后如果有边框落在图像外，则以欧氏距离最近的像素进行填充。

5.根据权利要求2所述的基于轻量化人脸口罩检测模型的视频处理方法，其特征是，所述的校正，参考标准正脸的人脸关键点，列出从当前关键点二维坐标至参考标准正脸关键点二维坐标的仿射变换方程，从仿射变换方程解出原图到参考正脸图仿射变换的线性变换矩阵，再对原图中的每一个点乘以变换矩阵得到校正后的人脸，得到校正后的人脸，之后以正脸为中心进行裁剪，使用双线性插值的方法得到正脸图片并进一步通过人脸类别标注，得到校正后的人脸图像数据集。

6.根据权利要求2所述的基于轻量化人脸口罩检测模型的视频处理方法，其特征是，所述的轻量级口罩分类深度模型采用深度可分离卷积模块作为骨干网络的分类深度模型；其训练，优选采用交叉熵作为损失函数，通过自适应矩估计(Adam)优化器进行梯度下降求得参数优化值的过程。

7.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：人脸检测模块、人脸校正模块和口罩分类模块，其中：人脸检测模块对输入的视频流中每一帧的RGB三通道图像信息进行前向传播运算，得到人脸位置信息和人脸关键点信息以及人脸位置置信度后，再进行非极大值抑制运算得到人脸位置和人脸关键点信息，人脸校正模块根据人脸位置和人脸关键点信息进行图像裁切和仿射变换矩阵求解，得到仿射变换矩阵并根据矩阵对裁切出的图像进行仿射变换，得到正脸RGB三通道图像，口罩分类模块根据正脸RGB三通道图像经过双线性插值后进行前向传播计算，得到四种佩戴口罩情况的置信度。

8.根据权利要求7所述的系统，其特征是，所述的人脸检测模块包括：视频帧抽取单元、模型计算单元、非极大值抑制单元以及输出整合单元，其中：视频帧抽取单元与视频流输入相连并抽取有效输入帧作为RGB三通道图片输入模型计算单元和人脸矫正模块输入单元，模型计算单元与非极大值抑制单元相连并输出人脸位置信息和人脸关键点信息以及人脸位置置信度，非极大值抑制单元与输出整合单元相连并筛选人脸位置信息，输出整合单元与人脸矫正模块相连并传输整合后的信息。