[发明专利]一种结合迁移学习的轻量级CNN口罩人脸姿态分类方法

说明书

本发明公开了一种结合迁移学习的轻量级CNN口罩人脸姿态分类方法，首先，构建真实口罩人脸姿态数据集和半仿真口罩人脸姿态数据集，并将真实口罩人脸姿态数据集划分训练集和测试集；其次，构建轻量级卷积神经网络模型；然后对半仿真数据集对构建的网络模型进行预训练，得到预训练的轻量级卷积神经网络模型；然后用口罩人脸姿态训练集，以更低的学习率和更少的迭代次数进行模型再训练，训练得到最终的轻量级卷积神经网络模型；最后将待测试的人脸姿态图像输入到训练好的网络模型中，得到相应姿态的概率输出，从而估计出人脸姿态。本发明实现了口罩人脸姿态分类，在降低模型参数量和计算复杂度的同时保持较高的模型准确率。

技术领域

本发明属于计算机视觉领域，具体涉及一种结合迁移学习的轻量级CNN口罩人脸姿态分类方法。

背景技术

随着计算机视觉技术的不断发展，人脸姿态估计技术被广泛应用于疲劳驾驶监测、人机交互、动机检测等领域且成为了关键技术之一。自新型冠状病毒(COVID-19)爆发以来，出行佩戴口罩成为了疫情防控的重要措施之一。在新的需求下，实现口罩遮挡的人脸姿态估计具有重要的现实意义。

人脸姿态估计方法分为基于模型的方法和基于表观的方法，当人脸受到遮挡、光照、噪声等干扰时基于模型的方法将会失效。基于表观的方法实则为构建图像空间与姿态空间的映射关系，但是该方法的性能取决于提取的特征及分类模型性能的好坏。近年来基于卷积神经网络的人脸信息提取技术不断进步，卷积神经网络被成功应用于人脸姿态估计并不断取得进展。卷积神经网络具有出色的特征提取能力及分类性能，其已在低光照、非限制性场景、遮挡等环境下实现了人脸姿态估计。因此将应用卷积神经网络来解决口罩遮挡的人脸姿态估计。

为了不断地提高模型的准确率，传统卷积神经网络不断被加深或者加宽，准确率提升的同时也带来了复杂的模型结构和较高的计算复杂度，导致姿态分类的实时性不佳且计算、存储资源消耗大。然而人脸姿态估计通常是计算机视觉及智能分析技术的中间环节之一，其姿态分析结果用于后续的分析决策。所以，轻量、简洁且高效的人脸姿态估计模型将会被更好地应用和推广。此外在疫情下暂时无法实现大规模的人脸采集，不足量的数据导致无法使用常规方法训练模型。在缺乏口罩人脸姿态数据的条件下，采用一种有效的训练方法也成为了关键。

发明内容

发明目的：本发明提出一种结合迁移学习的轻量级CNN口罩人脸姿态分类方法，在降低模型参数量和计算复杂度的同时保持较高的模型准确率，提升口罩人脸姿态分类效率。

技术方案：本发明所述的一种结合迁移学习的轻量级CNN口罩人脸姿态分类方法，包括以下步骤：

(1)构建真实口罩人脸姿态数据集和半仿真口罩人脸姿态数据集，并将真实口罩人脸姿态数据集划分训练集和测试集；

(2)构建轻量级卷积神经网络模型；所述网络模型包括2个改进的深度可分离卷积模块、3个标准深度可分离卷积模块、5个改进的SE注意力模块、5个自适应最大值池化层、1个GAP层及1个1×1点卷积层；

(3)采用步骤(1)中的半仿真数据集对步骤(2)构建的网络模型进行预训练，得到预训练的轻量级卷积神经网络模型；

(4)将经过步骤(3)获取的网络模型迁移至步骤(1)中的口罩人脸姿态训练集，以更低的学习率和更少的迭代次数进行模型再训练，训练得到最终的轻量级卷积神经网络模型；

(5)将待测试的人脸姿态图像输入步骤(4)获取的网络模型，得到相应姿态的概率输出，从而估计出人脸姿态。

进一步地，步骤(1)所述的口罩人脸姿态包括Yaw方向上的7个姿态类别，分别为Yaw方向上-67°、-45°、-22°、0°、+22°、+45°、+67°。

进一步地，步骤(2)所述的改进深度可分离卷积模块为将深度卷积和点卷积之间的ReLU函数替换为Linear函数。