[发明专利]一种基于不确定性损失函数的3D人体动作预测方法

说明书

本发明公开了一种基于不确定性损失函数的3D人体动作预测方法。本发明以注意力机制为基础建模空间信息、以卷积神经网络为基础建模时间信息、以时间通道上的卷积网络为基础对特征图解码生成预测序列。同时本发明提出了一种新的损失函数形式，能有效考虑到生成序列中的噪声和依赖关系。本发明可有效提升了3D人体动作预测的精度。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于不确定性损失函数的3D人体动作预测方法。

背景技术

基于3D骨骼的人体动作预测任务可被描述为以下过程：给定连续的多帧的人体关节点表示的动作序列，预测除未来几帧中人体的关节点的序列。人类动作预测任务在自动驾驶、人机交互和监测系统中都有重要的应用。然而，人类动作具有丰富的语义和随时间累积的不确定性，并且动作序列同时包含空间和时间两个维度的信息，这就要求人体动作预测模型能够同时对时间和空间进行建模并且在预测中充分考虑到动作的不确定性的累积和动作间的依赖。

在现有技术中，已有的解决方案如下：利用图卷积编码器，对输入的人体3D骨架进行特征学习；建立分类器，对输入的人体3D骨架输入进行行为识别；建立非自回归解码器，预测未来时刻人体3D骨架；使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别。

但是上述解决方案需要额外的动作的类别信息作为监督信息，并且需要多个编码器和分类器学习特征，模型复杂度较高；同时模型和优化过程的设置没有考虑到预测的误差累积和依赖关系。

发明内容

动作预测任务在很多人机交互、自动驾驶和监测系统中有重要应用，然而由于人类动作的语义丰富、不确定性积累和时间空间多维信息等特点，如何进行准确且高质量的动作预测是一大难点。本发明的目的在于解决现有技术中难以进行准确且高质量的动作预测的技术问题，并提供一种基于不确定性损失函数的3D人体动作预测方法。

本发明所采用的具体技术方案如下：

一种基于不确定性损失函数的3D人体动作预测方法，其包括：

将观测的动作序列输入经过训练的3D人体动作预测模型中，得到预测的动作序列；所述动作序列由连续的多帧人体关节点构成；

所述3D人体动作预测模型采用编码器-解码器结构；所述编码器由多层编码层级联而成，且相邻两层编码层之间加入残差连接；每一层编码层由一层空间信息提取层和一层时间信息提取层组成，首先由空间信息提取层对当前编码层输入逐帧计算注意力图，并将得到的注意力图相加后进行图卷积，从而提取出空间信息，然后再由时间信息提取层采用一维卷积神经网络从空间信息中进一步提取时间信息，将当前编码层输入经过1×1卷积后与提取的时间信息相加并作为当前编码层的最终输出；所述解码器由多层卷积层和一层全连接层级联而成，其以编码器输出的高维空间特征图为输入，依次由多个卷积层在时间通道上做卷积将时间维度变换至与预测动作序列帧数一致，再由全连接层将高维特征映射至三维空间，从而输出每一个预测时刻的人体关节点预测帧中各关节点的三维坐标；

所述3D人体动作预测模型训练采用的总损失函数由平衡损失函数和突出损失函数加权而成；所述平衡损失函数中为各预测帧分配噪声因子作为可学习权重，以平衡帧间噪声差异；所述突出损失函数中为第一帧预测帧设置高于其他预测帧的权重，以提高第一帧预测帧对整体预测性能的重要性。

作为优选，所述3D人体动作预测模型训练采用的总损失函数L形式如下：

L＝λL_a+(1-λ)L_s

式中：λ为权重；L_a为平衡损失函数，L_s为突出损失函数，两者的计算式为：