[发明专利]关键点检测模型构建方法、检测方法、装置、设备及介质

说明书

本公开提供了一种关键点检测模型的构建方法、装置、电子设备及存储介质，涉及图像处理技术领域。本公开提供的技术方案利用单帧检测模型标注各帧图像中的关键点得到伪标注数据，利用该伪标注数据对时序模型的关键点预测结果进行监督，从而构建出应用于对视频图像中待检测对象的关键点进行检测的关键点检测模型。根据本公开提供的技术方案，能够提高关键点检测模型的构建效率、降低视频图像的关键点检测的成本。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种关键点检测模型的构建方法、视频图像的关键点检测方法、装置、电子设备及存储介质。

背景技术

随着图像处理技术的发展，出现了对如人脸、车辆等对象的关键点进行检测的技术。例如，对视频图像中的人脸关键点检测是一项非常重要的技术，人脸关键点检测的准确与否直接关系到后续的应用，比如表情分析、三维动画、人脸三维重建等。

相关技术中，在对视频图像中的待检测对象的关键点进行检测时，需要依赖于大量人工标注的数据集，通过如CNN模型训练后得到关键点检测模型，而这种关键点检测模型的构建方式需要大量的人工以及时间来对视频图像中的关键点进行标注和校验，以确保数据集的质量。然而，在视频应用中，如果每一帧都需要标注针对于如人脸等待检测对象的所有关键点，那么标注满足模型训练的数据集的时间将远远超过单帧图像训练时的时间，导致这种技术构建应用于视频图像的关键点检测模型的效率低。

发明内容

本公开提供一种关键点检测模型的构建方法、视频图像的关键点检测方法、装置、电子设备及存储介质，以至少解决相关技术中存在的构建视频图像的关键点检测模型的效率低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种关键点检测模型的构建方法，包括：

获取包含待检测对象的视频图像样本；

将所述视频图像样本输入单帧检测模型，所述单帧检测模型分别对所述视频图像样本的各帧图像中所述待检测对象进行关键点检测，得到第一检测结果，并将所述第一检测结果作为所述各帧图像对应的关键点标注结果；

将所述视频图像样本输入时序模型，所述时序模型分别对所述视频图像样本的各帧图像中所述待检测对象进行关键点检测，得到第二检测结果，并将所述第二检测结果作为所述各帧图像对应的关键点预测结果；

根据所述关键点标注结果和所述关键点预测结果计算所述时序模型的模型损失值，根据所述模型损失值训练所述时序模型，得到关键点检测模型。

在一示例性实施例中，所述根据所述关键点标注结果和所述关键点预测结果计算所述时序模型的模型损失值，根据所述模型损失值训练所述时序模型，得到关键点检测模型，包括：

将所述关键点标注结果和所述关键点预测结果输入所述时序模型的损失函数，计算得到所述时序模型的模型损失值；若所述模型损失值在阈值范围内，则将所述时序模型作为所述关键点检测模型；若所述模型损失值不在所述阈值范围内，则基于所述时序模型的损失函数，采用反向传播的方法调整所述时序模型的网络权重，对调整后的时序模型进行训练得到所述关键点检测模型。

在一示例性实施例中，所述基于所述时序模型的损失函数，采用反向传播的方法调整所述时序模型的网络权重，对调整后的时序模型进行训练得到所述关键点检测模型，包括：

基于所述反向传播的方法，获取所述损失函数对所述网络权重的梯度；基于所述梯度，通过梯度下降的方法调整所述时序模型的网络权重；对调整后的时序模型进行训练，直到所述调整后的时序模型的模型损失值在所述阈值范围内，将所述调整后的时序模型作为所述关键点检测模型。

在一示例性实施例中，所述将所述视频图像样本输入时序模型，所述时序模型分别对所述视频图像样本的各帧图像中所述待检测对象进行关键点检测，得到第二检测结果，并将所述第二检测结果作为所述各帧图像对应的关键点预测结果，包括：