[发明专利]一种基于不确定性损失函数的3D人体动作预测方法

权利要求书

1.一种基于不确定性损失函数的3D人体动作预测方法，其特征在于，包括：

将观测的动作序列输入经过训练的3D人体动作预测模型中，得到预测的动作序列；所述动作序列由连续的多帧人体关节点构成；

所述3D人体动作预测模型采用编码器-解码器结构；所述编码器由多层编码层级联而成，且相邻两层编码层之间加入残差连接；每一层编码层由一层空间信息提取层和一层时间信息提取层组成，首先由空间信息提取层对当前编码层输入逐帧计算注意力图，并将得到的注意力图相加后进行图卷积，从而提取出空间信息，然后再由时间信息提取层采用一维卷积神经网络从空间信息中进一步提取时间信息，将当前编码层输入经过1×1卷积后与提取的时间信息相加并作为当前编码层的最终输出；所述解码器由多层卷积层和一层全连接层级联而成，其以编码器输出的高维空间特征图为输入，依次由多个卷积层在时间通道上做卷积将时间维度变换至与预测动作序列帧数一致，再由全连接层将高维特征映射至三维空间，从而输出每一个预测时刻的人体关节点预测帧中各关节点的三维坐标；

所述3D人体动作预测模型训练采用的总损失函数由平衡损失函数和突出损失函数加权而成；所述平衡损失函数中为各预测帧分配噪声因子作为可学习权重，以平衡帧间噪声差异；所述突出损失函数中为第一帧预测帧设置高于其他预测帧的权重，以提高第一帧预测帧对整体预测性能的重要性。

2.如权利要求1所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，所述3D人体动作预测模型训练采用的总损失函数L形式如下：

L＝λL_a+(1-λ)L_s

式中：λ为权重；L_a为平衡损失函数，L_s为突出损失函数，两者的计算式为：

其中：σ_t表示第t帧预测帧对应的噪声因子，为训练中的可学习参数；ω表示突出因子，为数倍于T_out的超参数；x_t和分别表示预测的动作序列中第t帧预测帧；T_out表示预测的动作序列帧数。

3.如权利要求2所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，所述权重λ优选设为0.1。

4.如权利要求2所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，所述T_out＝10，ω＝100。

5.如权利要求2所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，所述T_out＝25，ω＝400。

6.如权利要求1所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，输入所述编码器的动作序列表示为T×N×C维度的矩阵，其中T为观测的动作序列帧数，N为每一帧中的人体关节点数量，C表示每个关节点关节在三维空间中的位置坐标维度。

7.如权利要求6所述的基于不确定性损失函数的3D人体动作预测方法，其特征在于，所述编码器共包含n层编码层，在第l层编码层中，空间信息提取层的输入维度为T×N×C_l，C_l为上一层网络层输出的特征维度，空间信息提取层的输出维度为T×N×N，时间信息提取层采用的一维卷积神经网络中卷积核尺寸为1×n，其中n≥3；对于第1层编码层，其输入为观测的动作序列，C₁＝C；输入编码器的动作序列经过n层编码层后，最终输出动作序列的高维空间特征图，其最终输出维度为T×N×C_n+1。