[发明专利]一种图像中物体及其关键点的确定方法和装置

权利要求书

1.一种图像中物体及其关键点的确定方法，其特征在于，包括：

对待检测图像进行特征提取，得到所述待检测图像对应的图像特征；

根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息；其中，所述目标物体的关键点用于表征所述目标物体的结构特征；

所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息以及所述目标物体的关键点位置信息，具体为：根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；所述图像子区域是锚点对应的感兴趣区域；

所述根据所述待检测图像对应的图像特征，确定目标物体在待检测图像上的位置信息和待检测图像上各个图像子区域内的关键点位置信息，并根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息，具体为：根据所述待检测图像对应的图像特征，利用预先构建的第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的位置信息以及目标物体的关键点位置信息；其中，所述第二检测模型包括第二物体位置检测网络层、第二关键点位置检测网络层和物体关键点位置确定网络层，且所述第二物体位置检测网络层的输出结果和所述第二关键点位置检测网络层的输出结果是所述物体关键点位置确定网络层的输入数据，且所述第二物体位置检测网络层用于根据所述待检测图像对应的图像特征确定目标物体在待检测图像上的位置信息；且所述第二关键点位置检测网络层用于根据所述待检测图像对应的图像特征确定待检测图像上各个图像子区域内的关键点位置信息；且所述物体关键点位置确定网络层用于根据所述目标物体在待检测图像上的位置信息和所述待检测图像上各个图像子区域内的关键点位置信息，确定所述目标物体的关键点位置信息；

所述第二检测模型的训练过程，具体包括：获取训练图像对应的图像特征、目标物体在训练图像上的实际位置信息以及目标物体的实际关键点位置信息；根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息；根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件；若确定所述第二检测模型未达到第二预设条件，则更新第二检测模型，继续执行“根据所述训练图像对应的图像特征，利用第二检测模型对目标物体及其关键点进行检测，确定目标物体在待检测图像上的预测位置信息以及目标物体的预测关键点位置信息”；

所述第二预设条件为：第二检测模型的检测损失的变化率低于第二预设损失阈值，和/或，第二检测模型的训练轮数达到第二预设轮数阈值；

当所述第二预设条件包括第二检测模型的检测损失的变化率低于第二预设损失阈值时，所述根据所述目标物体在训练图像上的实际位置信息、所述目标物体的实际关键点位置信息、所述目标物体在待检测图像上的预测位置信息以及所述目标物体的预测关键点位置信息，判断所述第二检测模型是否达到第二预设条件，具体包括：根据所述目标物体在训练图像上的实际位置信息以及目标物体在待检测图像上的预测位置信息，确定目标物体的检测损失；其中，所述目标物体的检测损失包括目标物体的识别损失和目标物体的位置检测损失；根据所述目标物体的实际关键点位置信息以及所述目标物体的预测关键点位置信息，确定目标物体的关键点位置检测损失；根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失；根据所述第二检测模型的检测损失以及第二检测模型的历史检测损失，确定第二检测模型的检测损失变化率；所述第二检测模型的历史检测损失是在历史训练过程中确定的第二检测模型的检测损失；若所述第二检测模型的检测损失变化率低于第二预设损失阈值，则确定所述第二检测模型达到第二预设条件；若所述第二检测模型的检测损失变化率不低于第二预设损失阈值，则确定所述第二检测模型未达到第二预设条件；

其中，所述根据所述目标物体的识别损失、所述目标物体的位置检测损失和所述目标物体的关键点位置检测损失，确定第二检测模型的检测损失包括：

利用预先设定的损失函数来确定第二检测模型的检测损失，该损失函数为：

loss-detect＝α×L-softmax+β×L-regression+F×σ×loss-dpoint；

式中，loss-detect表示第二检测模型的检测损失；α表示目标物体的识别损失的影响权重；L-softmax表示目标物体的识别损失；β表示目标物体的位置检测损失的影响权重；L-regression表示目标物体的位置检测损失；F表示目标物体的关键点位置检测损失的存在标识，若训练图像中包括目标物体，则该训练图像对应的F值为1，若训练图像中不包括目标物体，则该训练图像对应的F值为0；σ表示目标物体的关键点位置检测损失的影响权重；loss-dpoint表示目标物体的关键点位置检测损失。