[发明专利]基于轻量化人脸口罩检测模型的视频处理方法

说明书

一种基于轻量化人脸口罩检测模型的视频处理方法，使用人脸数据集构建得到的人脸检测模型向样本图像中添加人脸位置标注和人脸关键点标注，并进一步在样本图像上对应的人脸位置添加人工标注后经裁剪处理，得到训练样本校正后用于对轻量级口罩分类深度模型进行训练，再将训练后得到的模型与人脸检测模型使用区域图像抽取模块进行级联得到视频流检测分类模块，并将视频流中每一帧连续输入到人脸检测模型，模型输出当前帧所含所有人脸的位置、人脸关键点和佩戴口罩情况的信息。本发明能够有效地节约模型存储空间和计算量，方便部署在低算力设备中。而且模型训练仅需要人为标注部分数据，易于结合多种已有的人脸检测模块，降低开发成本。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于轻量化人脸口罩检测模型的视频处理方法。

背景技术

当发生突发公共卫生事件时，人员在公共区域佩戴口罩是防止疾病传播的重要手段，当前主要有两种方案解决口罩检测问题。

第一种方案是派遣防疫人员进行现场人工检查，这种方案的主要缺点是效率较低，增加人员聚集的风险。同时人力成本较高，需要多名防疫人员轮班作业才能保证时刻的监测。

第二种方案是采用计算机视觉中目标检测的方法，训练或者微调(fine-tune)目标检测模型，得到口罩检测模型。这种方案的主要缺点是需要全新的训练和测试数据集。新数据集中需要同时标注人脸位置、是否佩戴口罩的信息。若要追求更高的准确度，还需要人脸关键点信息。然而相对于人脸是否佩戴口罩的标注，不同的人工标注者标注的人脸位置信息和人脸关键点信息很难保持一致，从而导致目标检测模型的损失在训练或者微调时难以收敛。同时，大规模的标注需要大量的人力成本，而且难以与现有的人脸检测模型融合。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于轻量化人脸口罩检测模型的视频处理方法，能够有效地节约模型存储空间和计算量，方便部署在低算力设备中。而且模型训练仅需要人为标注部分数据，易于结合多种已有的人脸检测模块，降低开发成本。

所述的部分位置标注，包括：人脸位置标注和人脸关键点标注，

本发明是通过以下技术方案实现的：

本发明涉及一种基于轻量化人脸口罩检测模型的视频处理方法，使用人脸数据集构建得到的人脸检测模型向样本图像中添加人脸位置标注和人脸关键点标注，并进一步在样本图像上对应的人脸位置添加人工标注后经裁剪处理，得到训练样本校正后用于对轻量级口罩分类深度模型进行训练，再将训练后得到的模型与人脸检测模型使用区域图像抽取模块进行级联得到视频流检测分类模块，并将视频流中每一帧连续输入到人脸检测模型，模型输出当前帧所含所有人脸的位置、人脸关键点和佩戴口罩情况的信息。

所述的样本图像优选为RGB三通道JPEG格式的图片，每张图片中至少含有1张完整的人脸图像，每个人脸图像不小于30×30像素。所有图片中的总人脸数目不少于10000个，其中佩戴医用口罩和佩戴口罩的人脸比例不少于20％。

所述的样本图像优选同时包括带口罩和不带口罩的人脸照片。

所述的人工标注包括：正确佩戴医用口罩、正确佩戴口罩、未正确佩戴口罩、未佩戴口罩。

所述的裁剪是指：基于人脸位置标注对样本图像进行裁切。

优选地，对裁剪后的人脸图片中的侧脸图片进行校正处理，具体为：根据人脸关键点对裁剪后的人脸图片中的侧脸图片进行校正，得到校正后的正脸图片后进一步添加人工标注。

所述的人脸数据集优选为公开的数据集为具有人脸关键点标注的WIDER FACE数据集。任意一种检测模型在使用WIDER FACE数据集训练精调后均可作为机器标注的标准使用。

所述的人脸位置标注是指：为样本图像中的每一张的人脸边框在图像中的左下角坐标和右上角坐标。