[发明专利]动作识别模型的训练方法、使用方法、装置、设备和介质

权利要求书

1.一种动作识别模型的训练方法，其特征在于，包括：

获取至少一张样本动作图像，并确定所述样本动作图像上的人体二维关键点；

利用三维关键点预测模型，预测所述人体二维关键点对应的人体三维关键点；

利用人体二维标注关键点和人体三维标注关键点，训练候选动作识别模型；利用所述人体二维关键点和人体三维关键点，对所述候选动作识别模型进行调整，得到最终的动作识别模型，其中，所述二维标注关键点是辅助训练数据集中包括的辅助动作图像上的人体二维标注关键点，所述人体三维标注关键点是利用所述三维关键点预测模型预测的所述人体二维标注关键点对应的人体三维关键点；

在所述利用三维关键点预测模型，预测所述人体二维关键点对应的人体三维关键点之前，所述方法还包括：

利用第一公开数据集，训练得到所述三维关键点预测模型；

其中，所述第一公开数据集中包括人体图像以及与该人体图像对应的人体三维公开关键点。

2.根据权利要求1所述的方法，其特征在于，利用所述人体二维标注关键点和所述人体三维标注关键点，训练所述候选动作识别模型，包括：

基于时空图卷积网络模型，利用所述人体二维标注关键点和所述人体三维标注关键点，训练得到所述候选动作识别模型。

3.根据权利要求1所述的方法，其特征在于，在所述利用三维关键点预测模型，预测所述人体二维关键点对应的人体三维关键点之前，所述方法还包括：

遍历所述样本动作图像上的人体二维关键点，确定所述人体二维关键点中的缺失关键点；

利用所述人体二维关键点中与所述缺失关键点的距离满足第一距离阈值的目标关键点、以及第一预设距离，对所述缺失关键点进行补全；

其中，所述第一预设距离与所述人体二维关键点中相邻关键点之间的距离有关。

4.根据权利要求3所述的方法，其特征在于，利用所述人体二维关键点中与所述缺失关键点的距离满足第一距离阈值的目标关键点、以及第一预设距离，对所述缺失关键点进行补全，包括：

确定所述人体二维关键点中相邻关键点之间的距离平均值；

利用所述人体二维关键点中与所述缺失关键点的距离满足所述第一距离阈值的目标关键点的图像坐标、以及所述距离平均值，确定所述缺失关键点的图像坐标。

5.根据权利要求4所述的方法，其特征在于，如果确定所述人体二维关键点中与所述缺失关键点的距离满足所述第一距离阈值的目标关键点为两个，则利用所述人体二维关键点中与所述缺失关键点的距离满足所述第一距离阈值的目标关键点的图像坐标、以及所述距离平均值，确定所述缺失关键点的图像坐标，包括：

计算两个目标关键点之间的距离；

根据所述两个目标关键点的图像坐标的差值，以及所述两个目标关键点之间的距离，计算得到单位坐标；

根据所述两个目标关键点中与所述缺失关键点最近邻的关键点的图像坐标、所述单位坐标、以及所述距离平均值，确定所述缺失关键点的图像坐标。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

遍历所述辅助动作图像上的人体二维标注关键点，确定所述人体二维标注关键点中的缺失标注关键点；

利用所述人体二维标注关键点中与所述缺失标注关键点的距离满足第二距离阈值的目标关键点、以及第二预设距离，对所述缺失标注关键点进行补全；其中，所述第二预设距离与所述人体二维标注关键点中相邻标注关键点之间的距离有关；

利用所述三维关键点预测模型，预测缺失标注关键点补全后的人体二维标注关键点所对应的人体三维标注关键点。

7.根据权利要求1所述的方法，其特征在于，确定所述样本动作图像上的人体二维关键点，包括：

利用二维关键点预测模型，提取所述样本动作图像上的人体二维关键点。