[发明专利]一种生成目标对象的对齐模型的方法

说明书

本发明公开了一种生成目标对象的对齐模型的方法，适于在计算设备中执行，包括：获取包含目标对象的图像及其对应的标注数据，标注数据中包含至少一个关键点的坐标；对图像进行数据增强处理后得到第一训练图像；对第一训练图像进行曝光处理得到第二训练图像；以及将第一训练图像和第二训练图像输入预训练的目标对象的对齐模型中进行训练，以生成训练后的目标对象的对齐模型。本方案能够提高模型的精度，有效改善关键点对齐不稳定的问题，同时使模型能够满足移动端的应用需求。

技术领域

本发明涉及技术领域，尤其涉及一种生成目标对象的对齐模型的方法、目标对象的对齐方法、计算设备及存储介质。

背景技术

图像中目标对象如猫脸、狗脸的关键点或特征点对齐在诸多现实场景中有广泛的应用。例如，在给宠物猫拍照或合影的过程中，通过检测出猫的五官和轮廓点，可以实时地加入一些贴图控件或文字，以增加拍摄的乐趣。但是与人脸对齐不同，宠物活泼好动，导致其姿态和表情多样，且宠物的种类繁多，增加了目标对象特征点对齐的难度。

基于移动端的特征点对齐方法要求很高的实时性。目前基于卷积神经网络的对齐模型较大，无法在移动端部署；且模型的计算效率低，无法实时检测出关键点，在对齐过程中存在关键点抖动不稳定的现象。

现有的猫脸或狗脸对齐方法主要分为两类，一种是直接基于卷积神经网络的人脸点检测模型进行检测，精度较低，影响后续控件的定位和添加。一种是采用更复杂的卷积神经网络进行深度学习，虽然能够达到较高的精度，但是计算量大效率低无法适应实时的要求。

因此，需要一种目标对象的对齐模型，能够匹配移动端的计算效率和内存，改善关键点抖动及网络训练不稳定的情况。

发明内容

为此，本发明提供了一种生成目标对象的对齐模型的方法以及目标对象的对齐方法，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种生成目标对象的对齐模型的方法，该方法适于在计算设备中执行，包括：首先，获取包含目标对象的图像及其对应的标注数据，标注数据中包含至少一个关键点的坐标。然后，对图像进行数据增强处理后得到第一训练图像，并对第一训练图像进行曝光处理得到第二训练图像。最后，将第一训练图像和第二训练图像输入预训练的目标对象的对齐模型中进行训练，以生成训练后的目标对象的对齐模型。

可选地，在上述方法中，目标对象的对齐模型包括多个卷积处理层，卷积处理层包括多个分组卷积和1*1卷积。

可选地，在获取包含目标对象的图像及其对应的标注数据之前，该方法还包括：首先，检测原始图像中的目标对象，以得到表征目标对象的至少一个关键点的坐标。然后，基于关键点的坐标，从所述原始图像中裁切出包含目标对象的图像。

可选地，在上述方法中，首先，基于关键点的坐标计算凸包，以便得到目标对象的最小外接矩形。然后，将最小外接矩形扩展预定倍数。最后，基于扩展后的矩形裁切原始图像，以得到包含目标对象的图像。

可选地，在上述方法中，数据增强处理包括拉伸、翻转、旋转、仿射变换、遮挡、色偏处理中的一项或多项。

可选地，在上述方法中，曝光处理为对第一训练图像添加随机曝光度。

可选地，在上述方法中，将第一训练图像输入预训练的目标对象的对齐模型，以输出预测的第一关键点坐标；将第二训练图像输入预训练的目标对象的对齐模型，以输出预测的第二关键点坐标；计算标注的关键点坐标、第一关键点坐标和第二关键点坐标两两之间损失函数的损失值之和；基于损失值之和调整模型参数，直到满足预设条件时训练结束。

可选地，在上述方法中，基于预设的学习率，使用梯度下降法迭代更新模型的参数；在两次迭代之间的差值小于预设阈值或者迭代次数达到预设次数的情况下，训练结束。

可选地，在上述方法中，损失值之和基于下述公式计算：