[发明专利]动作识别模型的训练方法、动作识别方法及相关装置

权利要求书

1.一种动作识别模型的训练方法，其特征在于，所述动作识别模型包括第一模型和第二模型，所述方法包括：

获取M个训练图像以及所述M个训练图像的标注数据，所述M个训练图像中的每个训练图像包括人物，所述每个训练图像的标注数据包括所述每个训练图像中的人物所在的包围框和所述每个训练图像中的人物姿态标注信息，M为大于1的整数；

通过所述第一模型对所述M个训练图像进行处理，得到所述M个训练图像对应的姿态序列，所述M个训练图像对应的姿态序列包括所述M个训练图像对应的第一类二维姿态序列和所述M个训练图像对应的第二类二维姿态序列，所述M个训练图像对应的第一类二维姿态序列是根据所述M个训练图像包括的人物的二维热力图得到的，所述M个训练图像对应的第二类二维姿态序列是对所述M个训练图像对应的第二类三维姿态序列进行二维投影得到的，所述M个训练图像对应的第二类三维姿态序列是对所述M个训练图像对应的第一类三维姿态序列进行任意或特定角度旋转得到的，所述M个训练图像对应的第一类三维姿态序列是根据所述M个训练图像包括的人物的三维热力图得到的；

通过利用所述M个训练图像对应的姿态序列，对所述第二模型进行训练，直到所述第二模型满足第二预设要求；

其中，所述第一模型通过以下步骤训练得到：

步骤1：对所述每个训练图像中的人物姿态标注信息进行处理，得到所述每个训练图像中的人物姿态标签，所述姿态标签包括二维姿态标签、三维姿态标签和二维姿态关键点置信度热力图标签；

步骤2：对所述第一模型进行初始化处理，以得到所述第一模型的模型参数的初始值；

步骤3：将所述M个训练图像中的第一批训练图像输入到所述第一模型，得到所述第一批训练图像对应的姿态序列，所述第一批训练图像对应的姿态序列包括所述第一批训练图像对应的第一类二维姿态序列、所述第一批训练图像对应的第一类三维姿态序列、所述第一批训练图像对应的共性二维姿态序列以及所述第一批训练图像对应的共性三维姿态序列，所述第一批训练图像对应的第一类二维姿态序列是根据所述第一批训练图像中包括的人物的二维热力图得到的，所述第一批训练图像对应的第一类三维姿态序列是根据所述第一批训练图像中包括的人物的三维热力图得到的，所述共性二维姿态序列是根据所述第一批训练图像对应的二维姿态序列与所述第一批训练图像对应的三维姿态序列中公共的姿态关键点确定的二维姿态序列，所述共性三维姿态序列是根据所述第一批训练图像对应的二维姿态序列与所述第一批训练图像对应的三维姿态序列中公共的姿态关键点确定的三维姿态序列；

步骤4：根据所述第一批训练图像对应的姿态序列，确定所述第一模型的损失值，所述第一模型的损失值是对第一损失值、第二损失值、第三损失值和第四损失值进行加权处理得到的，所述第一损失值是根据所述第一批训练图像对应的第一类二维姿态序列和所述第一批训练图像对应的二维姿态标签确定的，所述第二损失值是根据所述第一批训练图像对应的第一类三维姿态序列和所述第一批训练图像对应的三维姿态标签确定的，所述第三损失值是根据所述第一批训练图像对应的共性二维姿态序列和所述第一批训练图像对应的共性三维姿态序列确定的，所述第四损失值是根据所述第一批训练图像对应的二维姿态关键点置信度热力图标签和所述第一批训练图像对应的二维姿态关键点置信度热力图确定的；

步骤6：根据所述第一模型的损失值对所述第一模型的模型参数进行更新；

重复上述步骤3至步骤5，直到所述第一模型满足第一预设要求。

2.如权利要求1所述的训练方法，其特征在于，所述第一模型包括第一子模型和第二子模型，所述第二子模型包括第三子模型和第四子模型，所述通过所述第一模型对所述M个训练图像进行处理，得到所述M个训练图像对应的姿态序列，包括：

通过所述第三子模型对所述M个训练图像进行处理，得到所述M个训练图像对应的第一类二维姿态序列；

通过所述第四子模型对所述M个训练图像进行处理，得到所述M个训练图像对应的第一类三维姿态序列；

通过所述第一模型对所述M个训练图像对应的第一类三维姿态序列进行任意或特定角度旋转，得到所述M个训练图像对应的第二类二维姿态序列。