[发明专利]一种关键点检测方法及装置、存储介质

说明书

本申请实施例公开了一种关键点检测方法及装置、存储介质，方法包括：利用基础网络对输入图像进行下采样，得到浅层特征图像和深层特征图像；利用关键点位置预测模型，对浅层特征图像进行关键点位置预测，得到关键点位置信息；关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络；利用肢体连接预测模型，对深层特征图像进行肢体连接预测，得到肢体连接信息；肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络；基于关键点位置信息和肢体连接信息，生成输入图像的关键点检测结果。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种关键点检测方法及装置、存储介质。

背景技术

人体关键点检测，主要检测人体的一些关键点，例如，眼睛、鼻子、手肘等，并将它们按照肢体顺序依次进行连接，从而描述人体骨骼信息。基于深度学习的人体关键点检测方法可以划分成两种，分别为自上而下的检测方法和自下而上的检测方法。

自上而下的检测方法，主要包括人体检测步骤和单人人体关键点检测步骤。具体的，首先通过目标检测算法将图像中每个人物个体单独的检测出来，之后，在检测框的基础上针对每个人物个体分别进行人体骨骼关键点检测。自上而下的检测方法检测精度较高，但是检测速度与图像中人物个体的数量呈线性增长的关系，并且需要额外的目标检测算法作为支持。

自下而上的检测方法，主要包括图像中多人关键点检测步骤和后处理步骤。具体的，首先将图像中所有的关键点检测出来，之后，应用相关后处理策略将所有的关键点分配到图像中不同的人物个体上。

目前，对于自下而上的检测方法而言，不仅检测模型的复杂度较高，运算量加大，而且，检测结果的精度较低。

发明内容

本申请实施例提供一种关键点检测方法及装置、存储介质，在两种预测模型中均引入多尺度学习机制，并针对不同的预测模型提供相应的特征信息进行处理，不仅降低了关键点检测的运算量，而且提高了检测精度。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种关键点检测方法，所述方法包括：

利用基础网络对输入图像进行下采样，得到浅层特征图像和深层特征图像；

利用关键点位置预测模型，对所述浅层特征图像进行关键点位置预测，得到关键点位置信息；所述关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络；

利用肢体连接预测模型，对所述深层特征图像进行肢体连接预测，得到肢体连接信息；所述肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络；

基于所述关键点位置信息和所述肢体连接信息，生成所述输入图像的关键点检测结果。

在上述方法中，所述第一多尺度网络包括并列的多个第一分支卷积层，所述利用关键点位置预测模型，对所述浅层特征图像进行关键点位置预测，得到关键点位置信息，包括：

利用所述多个第一分支卷积层中不同卷积层，从所述浅层特征图像中提取不同尺度的图像信息，得到第一多尺度图像信息；

利用所述第一卷积网络，根据所述第一多尺度图像信息进行关键点位置预测，得到所述关键点位置信息。

在上述方法中，所述第一卷积网络包括顺序连接的第一提取卷积层和第一预测卷积层，所述利用所述第一卷积网络，根据所述第一多尺度图像信息进行关键点位置预测，得到所述关键点位置信息，包括：

利用所述第一提取卷积层，对所述多个第一图像信息进行关键点特征提取，得到第一提取结果；

利用所述第一预测卷积层，根据所述第一提取结果进行关键点位置预测，得到所述关键点位置信息。