[发明专利]一种远红外热成像人脸关键点的定位方法

权利要求书

1.一种远红外热成像人脸关键点的定位方法，其特征在于：包括以下步骤：

步骤一、构建数据集：通过自有数据构建远红外人脸数据集，自主对图像中人脸关键点进行标注，图像尺寸为384*288像素；

步骤二、搭建网络模型：在深度学习框架Pytorch上搭建基于深度学习的远红外人脸关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联的形式组成整体网络；

步骤三、制作标签：通过在空白图像中不同通道中关键点对应位置放置高斯核形成关键点热图来制作标签，即在空白图像中画高斯核的方式形成回归用的标签，loss函数采用L2Loss；

loss函数：

其中，x代表每个像素，f(x)为网络的输出值，y(x)代表标签真值，N代表公式中求和算式中的x的总数；

高斯核函数：

其中，j_i和k_i代表第i个关键点在图像中的x和y的坐标，σ_x，σ_y分别代表高斯核在x和y方向的标准差；

步骤四、数据增强与图像预处理：

数据增强：训练时对图像做一种或者多种变换，图像变换后标签的真值也会随变换改变，数据增强可以提升模型的泛化能力；

图像预处理：在图像输入网络之前，将图像归一化到0～1之间；

步骤五、训练模型：采用均方误差作为损失函数训练模型，采用Adam优化策略训练关键点定位网络；参数采用Xavier初始化，批次大小设置为64，初始学习率0.001，每迭代50个周期学习率衰减一次，衰减率为0.1，经过200个周期迭代后效果达到最佳；其中，前50个周期采用半径为7个像素放置高斯核作为标签真值，后150个周期采用半径为3个像素放置高斯核作为标签真值；

步骤六、模型推理：模型训练好之后，通过模型推算关键点需要将数据进行步骤四中的图像预处理归一化到0～1之间，将预处理之后的图像送进模型前传生成预测热图Heatmap；取出预测热图中每个通道中最大值所在位置，即为该通道预测关键点所在位置；

p_i＝argmax(Heatmap_i)，

其中，Pi为关键点i的坐标，Heatmap_i为对应于关键点i的预测热图。

2.根据权利要求1所述的远红外热成像人脸关键点的定位方法，其特征在于：所述步骤一中关键点标注数据为在图中标注左眼，右眼，鼻尖，左嘴角，右嘴角五个关键点的位置。

3.根据权利要求1所述的远红外热成像人脸关键点的定位方法，其特征在于：所述步骤二中：两个子网络中，子网络一为修改后的U-Net网络，子网络二为Hourglass网络；子网络一的输入为图像，子网络二的输入为图像拼接上子网络一最后一层的特征图；子网络二网络结构为原始Hourglass结构。

4.根据权利要求1所述的远红外热成像人脸关键点的定位方法，其特征在于：所述步骤四中，图像预处理的具体方法为：①将图像所有像素从小到大排列，取前12％的像素的最大值记为img_min；②图像中的最大值，记为img_max；③将图像中所有小于img_min的值重置为img_min；④以img_max和img_min为上下界，将图像归一化到0～1之间，具体为：X＝(X-img_min)/(img_max-img_min)，X为图像。

5.根据权利要求4所述的远红外热成像人脸关键点的定位方法，其特征在于：所述步骤四中，数据增强的变换方式包括：旋转：15°～-15°，裁切拉伸：x：0.8～1.2像素，y：0.8～1.2像素，剪切变换，分段仿射变换。