[发明专利]一种基于双向序列化建模的人体姿态估计方法

权利要求书

1.一种基于双向序列化建模的人体姿态估计方法，包括如下步骤：

(1)收集用于人体姿态估计的视频数据集并对其进行预处理；

(2)对于视频数据集中一段完整的视频，以连续3帧视频图像作为一组样本，并对视频图像中人体各关键部位坐标进行人工标记；

(3)构建双向连续性卷积神经网络，利用大量样本对该卷积神经网络进行训练，得到人体姿态估计模型；

(4)将连续3帧待估计的视频图像输入至所述人体姿态估计模型中，输出得到其中第2帧视频图像中人物的姿态估计结果即人体各关键部位坐标。

2.根据权利要求1所述的人体姿态估计方法，其特征在于：所述步骤(1)中对于视频数据集中的每一帧视频图像，通过YOLOv5算法检测图像中的人体ROI位置坐标，并将该ROI放大25％。

3.根据权利要求1所述的人体姿态估计方法，其特征在于：所述双向连续性卷积神经网络由Backbone网络、姿态时间合并网络、姿态残差融合网络以及姿态矫正网络组成，其中Backbone网络用于初步计算输入样本的三帧视频图像中人体的姿态特征向量h_i-1、h_i、h_i+1，三个特征向量叠加后得到向量Φ(h)分别输入至姿态时间合并网络和姿态残差融合网络，姿态时间合并网络用于编码人体每个关节的大致空间范围得到特征向量ξ(h)，姿态残差融合网络用于计算人体的姿态残差向量ψ(h)，进而将ξ(h)及其叠加ψ(h)后的特征向量η输入到姿态矫正网络中计算得到人体姿态预测结果。

4.根据权利要求3所述的人体姿态估计方法，其特征在于：所述姿态时间合并网络由三个残差块堆叠组成，向量Φ(h)按关节顺序重组后作为该网络的输入，输出特征向量ξ(h)；所述姿态残差融合网络由五个残差块堆叠组成，其首先将样本中第二帧与第一帧的姿态特征向量以及第二帧与第三帧的姿态特征向量分别做差，同时通过带有权重的级联得到张量ζ作为该网络的输入，输出姿态残差向量ψ(h)，张量ζ的具体表达式如下：

5.根据权利要求4所述的人体姿态估计方法，其特征在于：所述残差块由一个3×3大小的卷积层、批量归一化层以及Relu激活层依次连接组成，姿态时间合并网络中的残差块采用分组卷积，分组数groups＝17；姿态残差融合网络中的残差块未使用分组卷积，分组数groups＝1。

6.根据权利要求3所述的人体姿态估计方法，其特征在于：所述姿态矫正网络由五个平行的可形变卷积组成，五个可形变卷积的扩张率分别为3、6、9、12、15，每个可形变卷积以特征向量ξ(h)与η堆叠后的结果作为输入，输出预测的高斯热图，对五个卷积分别输出的五张高斯热图取平均即得到人体姿态预测结果。

7.根据权利要求3所述的人体姿态估计方法，其特征在于：所述步骤(3)中对双向连续性卷积神经网络进行训练的过程分为两步：首先训练Backbone网络，然后固定Backbone网络参数，训练姿态时间合并网络、姿态残差融合网络以及姿态矫正网络。

8.根据权利要求7所述的人体姿态估计方法，其特征在于：训练Backbone网络的具体过程为：逐一将样本所有视频图像中的人体ROI输入Backbone网络，计算整个双向连续性卷积神经网络输出的人体姿态预测结果与样本对应的人工标记信息之间的损失函数L1，根据损失函数L1通过反向传播反复更新Backbone网络参数，直至损失函数L1收敛，所述损失函数L1的表达式如下：

其中：N为标注的人体关键部位数量，H_{gt_i}为一组样本中所有人体ROI第i个关键部位人工标记的坐标经转换生成高斯热图叠加后的结果，H_{pred_i}为一组样本中所有人体ROI第i个关键部位通过双向连续性卷积神经网络预测输出的坐标经转换生成高斯热图叠加后的结果，|| ||₂表示L2范数，v_i表示第i个关键部位在样本图像中是否有标签，若有则其取值为1，否则其取值为0。