[发明专利]视频动作识别方法、装置、存储介质与电子设备

权利要求书

1.一种视频动作识别方法，其特征在于，包括：

在待处理视频的图像帧中检测人体关键点，根据各所述图像帧中所述人体关键点的位置信息形成所述人体关键点的二维坐标序列；

利用预先训练的三维重建网络对所述二维坐标序列进行三维重建，生成所述人体关键点的三维坐标数据；

利用预先训练的动作识别网络对所述三维坐标数据进行处理，得到所述待处理视频的动作识别结果；

所述三维重建网络和所述动作识别网络均为同一卷积神经网络中的子网络；所述卷积神经网络通过以下方式训练：

在样本视频的图像帧中检测人体关键点，根据所述样本视频的各图像帧中所述人体关键点的位置信息形成所述人体关键点的二维坐标样本序列；所述二维坐标样本序列为所述样本视频对应的二维坐标序列；

将所述二维坐标样本序列输入待训练的所述卷积神经网络，输出所述样本视频的动作识别结果，并从所述卷积神经网络的中间层提取所述人体关键点的三维坐标样本数据；所述三维坐标样本数据为所述样本视频对应的三维坐标数据；

根据所述样本视频的动作识别结果和所述样本视频的动作标签确定第一损失函数；

根据所述二维坐标样本序列和所述三维坐标样本数据确定第二损失函数；所述第二损失函数表示所述二维坐标样本序列中不同人体关键点之间的位置关系信息与所述三维坐标样本数据中不同人体关键点之间的位置关系信息的偏差；

利用所述第一损失函数和所述第二损失函数更新所述卷积神经网络的参数。

2.根据权利要求1所述的方法，其特征在于，所述二维坐标序列的维度为L₁×J×2，所述三维坐标数据的维度为L₂×J×3；其中，L₁表示所述待处理视频的图像帧数，J表示人体关键点的数量，L₂表示所述三维坐标数据的通道数，L₂小于L₁。

3.根据权利要求1所述的方法，其特征在于，所述利用预先训练的三维重建网络对所述二维坐标序列进行三维重建，生成所述人体关键点的三维坐标数据，包括：

利用所述三维重建网络中的卷积核，从所述二维坐标序列中提取邻域内的特征数据并进行处理，得到对应的所述三维坐标数据。

4.根据权利要求3所述的方法，其特征在于，所述卷积核包括膨胀卷积核。

5.根据权利要求1所述的方法，其特征在于，在所述卷积神经网络中，所述三维重建网络的最后一层连接所述动作识别网络的第一层。

6.根据权利要求1所述的方法，其特征在于，在样本视频的图像帧中检测人体关键点之前，所述方法还包括：

将所述样本视频的图像帧归一化为预设尺寸；

将所述动作标签转化one-hot向量；

将归一化为预设尺寸后的所述图像帧的序列和所述one-hot向量打包封装进二进制文件。

7.根据权利要求1所述的方法，其特征在于，所述利用所述第一损失函数和所述第二损失函数更新所述卷积神经网络的参数，包括：

对所述第一损失函数和所述第二损失函数加权，得到综合损失函数；

利用所述综合损失函数更新所述卷积神经网络的参数。

8.根据权利要求1所述的方法，其特征在于，所述根据所述二维坐标样本序列和所述三维坐标样本数据确定第二损失函数，包括：

通过所述二维坐标样本序列中预设人体关键点之间的距离得到二维关节距离数据；

通过所述三维坐标样本数据中所述预设人体关键点之间的距离得到三维关节距离数据；

根据所述二维关节距离数据和所述三维关节距离数据确定所述第二损失函数。