[发明专利]跨数据集的人脸关键点检测方法

说明书

本发明公开了一种跨数据集的人脸关键点检测方法，主要包括：针对不同的数据集设计不同的回归头，然后这些回归头共用网络骨干，计算出相似点的索引对应关系；随机的选择目标数据集或辅助数据集，取其中的部分数据作为一次迭代，进行网络的前向运算；损失函数除了之前网络的原有约束，还利用相似点的索引关系对不同的回归头进行约束，基于损失函数反传参数优化网络模型。本发明利用不同的数据集去辅助目标检测器可以学习到原本数据集上不存在的数据特征。特别是一些极端条件下的数据，原始目标数据集不具备这种变化情况，因此可以显著提高网络模型的鲁棒性，提高网络在一些不可见情况下的泛化性能。

技术领域

本发明涉及人脸关键点检测和多任务学习，属于计算机视觉领域。

背景技术

得益于人脸关键点检测技术快速发展，人脸关键点的数据集也被广泛发布。由于这些数据集出于不同的条件和目的进行构建，所以特征点的位置和数量也千差万别。同时人脸特征点由于数量较多，标注十分困难。而且因为精度需要在像素级别，标注要求非常高。以上原因造成数据集的容量普遍较小。因此，利用其他数据集对提高目标人脸关键点检测器的性能非常有意义和挑战性。

现有的跨数据集的人脸关键点检测技术可以通过多个数据集获得鲁棒的模型，并且无需重新标注。但是依然存在一些局限性:1.需要额外的计算，2.受数据集标注方案的限制，3.受回归方法的限制。

发明内容

发明目的：针对目前跨数据集的人脸关键点检测技术的不足，提供一种新的方法提高目标检测器的性能，可以适用于不同的回归方法和数据集，同时保持相同的计算量。

技术方案：针对目前跨数据集的人脸关键点检测技术的不足，提供一种新的方法提高目标检测器的性能，可以适用于不同的回归方法和数据集，同时保持相同的计算量。

技术方案：该发明公布一种人脸关键点检测方法，利用多个数据集提高目标检测器的性能。同时利用不同数据集中相似点的关系，充分学习不同数据集的数据特征。具体步骤如下：

步骤1：网络重构。针对不同的数据集设计不同的回归头，然后这些回归头共用网络骨干。计算出相似点的索引对应关系。

步骤2：随机的选择目标数据集或辅助数据集，取其中的部分数据作为一次迭代，进行网络的前向运算。

步骤3：损失函数除了之前网络的原有约束，还利用相似点的索引关系对不同的回归头进行约束。基于损失函数反传参数优化网络模型。

步骤4：测试网络模型。若精度不符合要求，调整目标数据集和辅助数据集的随机比例，返回步骤2；若精度符合要求，进行步骤5。

步骤5:若需要保留多个回归头，可以固定网络骨干，只对特定的回归头进行微调训练，符合精度要求后，退出。若只保留目标任务，则优化辅助任务的回归头，仅保留目标回归头，退出。

有益效果：

1.利用不同的数据集去辅助目标检测器可以学习到原本数据集上不存在的数据特征。特别是一些极端条件下的数据，原始目标数据集不具备这种变化情况，因此可以显著提高网络模型的鲁棒性，提高网络在一些不可见情况下的泛化性能。

2.相对于其他方法，此发明没有增强额外的计算量，并且没有改变网络结构，同时适用于不同的回归方法，对不同的数据集标注方案也没有限制，普适性良好。

3.通过调整合适的比例，以及对辅助数据集的精调，该发明还可以得到多关键点输出的网络模型，适用于多任务学习，并且精度均比标准网络要高。

附图说明

图1是本发明人脸关键点不同数据集的关键点分布图。

图2是本发明的实施例的流程示意图。

图3是本发明网络重构后的热图回归模型概览图。