[发明专利]关键点检测方法、装置、设备及可读介质

权利要求书

1.一种关键点检测方法，其特征在于，包括：

获取显示有用户图像的多段样本视频帧序列；

从多段样本视频帧序列中获取与多种姿态分别对应的多个目标框，所述目标框包括对应姿态中多个关键点的位置信息；

根据多段样本视频帧序列和多个目标框，训练关键点检测模型和跟踪模型；

获取显示有用户图像的视频帧序列；

将视频帧序列的模板帧输入至关键点检测模型，得到多个关键点的位置信息；

根据所述多个关键点的位置信息确定目标对象的尺寸，并基于所述目标对象的尺寸确定模板帧中包括多个关键点的目标对象；

将模板帧中包括多个关键点的目标对象和检测帧输入至跟踪模型，检测到检测帧中的目标对象，并得到目标对象中多个关键点的位置信息；

其中，检测帧是视频帧序列中模板帧的至少一个后续帧。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将模板帧中包括多个关键点的目标对象和检测帧输入至跟踪模型，如果未检测到检测帧中的目标对象，将所述检测帧确定为新的模板帧；

返回执行将视频帧序列的模板帧输入至关键点检测模型，得到多个关键点的位置信息的操作。

3.根据权利要求1所述的方法，其特征在于，所述从多段样本视频帧序列中获取与多种姿态分别对应的多个目标框，包括：

对多段样本视频帧序列上标注的关键点的位置信息进行聚类，得到聚类的类别和各类别的聚类中心；

根据聚类的类别数量，得到对应数量个姿态向量；

根据各类别的聚类中心，得到各姿态向量中的多个关键点的位置信息；

根据各姿态向量中的多个关键点的位置信息，确定包括对应姿态中多个关键点的位置信息的目标框。

4.根据权利要求1所述的方法，其特征在于，对于多段样本视频帧序列中的第一段样本视频帧序列，所述根据样本视频帧序列和多个目标框，训练所述关键点检测模型和跟踪模型，包括：

将多个目标框以及第一段样本视频帧序列的样本模板帧输入至关键点检测模型，得到样本模板帧中的多个候选框分别对应的类别和多个关键点的位置信息；

最小化第一损失函数，对关键点检测模型中的参数进行一次迭代，其中，第一损失函数包括多个候选框与对应的目标框的距离，以及检测得到的样本模板帧中多个关键点的位置信息与真实位置信息的偏差；

将样本模板帧中包括多个关键点的目标对象和样本检测帧输入至跟踪模型，得到样本检测帧中目标对象的检测结果和多个关键点的位置信息；

最小化第二损失函数，对跟踪模型中的参数进行一次迭代，其中，第二损失函数包括检测结果与真实结果的偏差，以及检测得到的样本检测帧中多个关键点的位置信息与真实位置信息的偏差；

返回执行将多个目标框以及下一段样本视频帧序列的样本模板帧输入至关键点检测模型的操作，直到满足训练结束条件。

5.根据权利要求4所述的方法，其特征在于，所述关键点检测模型，包括：特征提取层、候选框生成层、分类层和回归层；所述跟踪模型包括：特征提取层、分类层和回归层；

所述关键点检测模型通过特征提取层从样本模板帧中提取特征；通过候选框生成层根据提取出的特征，生成多个候选框；通过分类层分别计算多个候选框与各目标框的重叠度；根据重叠度满足预设要求的目标框，确定候选框对应的类别；通过回归层对多个候选框中的特征进行回归，得到关键点的位置信息；

所述跟踪模型通过特征提取层提取目标对象的第一特征，提取样本检测帧多个区域中各区域的第二特征；通过分类层计算第一特征与各第二特征的特征映射图；根据特征映射图得到样本检测帧各区域对目标对象的检测结果；通过回归层对特征映射图进行回归，得到关键点的位置信息。

6.根据权利要求5所述的方法，其特征在于，所述最小化第二损失函数，对跟踪模型中的参数进行一次迭代，包括：

将关键点检测模型中特征提取层的参数传递至跟踪模型的特征提取层中；

最小化第二损失函数，迭代跟踪模型中分类层和回归层的参数。