[发明专利]一种关键点检测方法及装置、存储介质

权利要求书

1.一种关键点检测方法，其特征在于，所述方法包括：

利用基础网络对输入图像进行下采样，得到浅层特征图像和深层特征图像；其中，所述基础网络为任一个卷积神经网络；

利用关键点位置预测模型，对所述浅层特征图像进行关键点位置预测，得到关键点位置信息；所述关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络；

利用肢体连接预测模型，对所述深层特征图像进行肢体连接预测，得到肢体连接信息；所述肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络；

基于所述关键点位置信息和所述肢体连接信息，生成所述输入图像的关键点检测结果；

所述第二多尺度网络包括并列的多个第二分支卷积层，所述利用肢体连接预测模型，对所述深层特征图像进行肢体连接预测，得到肢体连接信息，包括：

利用所述上采样层，对所述深层特征图像进行上采样，得到上采样特征图像；

利用所述多个第二分支卷积层中不同卷积层，从所述上采样特征图像中提取不同尺度的图像信息，得到第二多尺度图像信息；

利用所述第二卷积网络，根据所述第二多尺度图像信息进行肢体连接预测，得到所述肢体连接信息。

2.根据权利要求1所述的方法，其特征在于，所述第一多尺度网络包括并列的多个第一分支卷积层，所述利用关键点位置预测模型，对所述浅层特征图像进行关键点位置预测，得到关键点位置信息，包括：

利用所述多个第一分支卷积层中不同卷积层，从所述浅层特征图像中提取不同尺度的图像信息，得到第一多尺度图像信息；

利用所述第一卷积网络，根据所述第一多尺度图像信息进行关键点位置预测，得到所述关键点位置信息。

3.根据权利要求2所述的方法，其特征在于，所述第一卷积网络包括顺序连接的第一提取卷积层和第一预测卷积层，所述利用所述第一卷积网络，根据所述第一多尺度图像信息进行关键点位置预测，得到所述关键点位置信息，包括：

利用所述第一提取卷积层，对所述多个第一多尺度图像信息进行关键点特征提取，得到第一提取结果；

利用所述第一预测卷积层，根据所述第一提取结果进行关键点位置预测，得到所述关键点位置信息。

4.根据权利要求1所述的方法，其特征在于，所述第二卷积网络包括顺序连接的第二提取卷积层和第二预测卷积层，所述利用所述第二卷积网络，根据所述第二多尺度图像信息进行肢体连接预测，得到所述肢体连接信息，包括：

利用所述第二提取卷积层，对所述第二多尺度图像信息进行肢体连接特征提取，得到第二提取结果；

利用所述第二预测卷积层，根据所述第二提取结果进行肢体连接预测，得到所述肢体连接信息。

5.根据权利要求1所述的方法，其特征在于，所述利用关键点位置预测模型，对所述浅层特征图像进行关键点位置预测，得到关键点位置信息之前，所述方法还包括：

利用所述基础网络对样本图像进行下采样，得到浅层特征样本和深层特征样本；

利用所述关键点位置预测模型，对所述浅层特征样本进行关键点位置预测，得到预测位置信息；

利用所述肢体连接预测模型，对所述深层特征样本进行肢体连接预测，得到预测连接信息；

基于所述预测位置信息、所述预测连接信息、所述样本图像对应的预设关键点位置和预设连接信息，对所述关键点位置预测模型和所述肢体连接预测模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述基于所述预测位置信息、所述预测连接信息、所述样本图像对应的预设关键点位置和预设连接信息，对所述关键点位置预测模型和所述肢体连接预测模型进行训练，包括：

利用所述预测位置信息和所述预设关键点位置，确定第一损失参数；

利用所述预测连接信息和所述预设连接信息，确定第二损失参数；

根据所述第一损失参数和所述第二损失参数，确定预测损失参数；

基于所述预测损失参数，对所述关键点位置预测模型和所述肢体连接预测模型进行优化。