[发明专利]关键点检测方法及装置、电子设备和存储介质

说明书

本公开涉及一种关键点检测方法及装置、电子设备和存储介质。所述方法包括：获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息；其中，至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支，第一网络分支输出的第一检测结果包括人脸的全局信息，人脸的全局信息中包括的人脸的关键点信息和/或人脸图像的特征信息传递到各第二网络分支中，各第二网络分支用于结合人脸的全局信息确定对应的人脸器官的关键点信息。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种关键点检测方法及装置、电子设备和存储介质。

背景技术

人脸关键点检测是诸多人脸相关应用的基础，可以为人脸识别等技术提供位置矫正，也为增强现实、美妆特效等场景提供人脸的语义信息。因此如何检测人脸关键点，成为目前一个亟待解决的问题。

相关方法中，会在获取人脸的整脸关键点以后，再基于人脸的整脸关键点，利用人脸关键点分别从原图中截取多次人脸的器官，然后再将截取出的多个器官分别输入到各自对应的人脸器官关键点检测模型中，这种方式处理不仅时间长效率低，而且在人脸存在遮挡的情况下，截取到的器官图像可能不完整，从而使得识别得到的关键点结果不准确。

发明内容

本公开提出了一种关键点检测方案。

根据本公开的一方面，提供了一种关键点检测方法，包括：

获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息；其中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支，所述第一网络分支输出的第一检测结果包括人脸的全局信息，所述人脸的全局信息中包括的人脸的关键点信息和/或人脸图像的特征信息传递到各所述第二网络分支中，各所述第二网络分支用于结合所述人脸的全局信息确定对应的人脸器官的关键点信息。

在一种可能的实现方式中，所述第二网络分支包括感兴趣区域校准层和特征提取层；所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：通过所述第一网络分支对所述人脸进行检测，得到所述第一检测结果；通过各所述第二网络分支的感兴趣区域校准层，提取人脸器官的检测区域；通过各所述第二网络分支的特征提取层，提取与所述至少一个人脸器官对应的检测区域的图像特征；利用所述检测区域的图像特征以及所述人脸的全局信息，得到所述至少一个人脸器官的关键点信息。

在一种可能的实现方式中，所述利用所述检测区域的图像特征以及所述人脸的关键点信息，得到所述至少一个人脸器官的关键点信息，包括：将所述检测区域的图像特征与对应的所述人脸的关键点信息和/或所述人脸图像的特征信息进行至少一次融合处理，得到融合特征信息；根据所述融合特征信息，得到所述人脸器官的关键点信息。

在一种可能的实现方式中，所述第一检测结果还包括至少一个人脸器官的检测框信息；所述通过各所述第二网络分支的感兴趣区域校准层，提取人脸器官的检测区域，包括：根据所述至少一个人脸器官的检测框信息，确定所述至少一个人脸器官在所述人脸图像中的位置坐标；通过各所述第二网络分支的感兴趣区域校准层，在所述位置坐标的精度下，提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域。

在一种可能的实现方式中，所述人脸器官的检测区域包括：从所述人脸图像中提取的与人脸器官区域，和/或，从所述第一网络分支输出的人脸图像的特征信息中提取的人脸器官区域的特征信息。