[发明专利]一种基于分割引导的人体姿态识别方法

权利要求书

1.一种基于分割引导的人体姿态估计方法，其特征在于采用HRNet人体姿态估计的基本网络结构；HRNet包含4个阶段3个分支，每个分支捕获输入信号的不同尺度特征表示；每个阶段不同分支的特征会进行相互融合并将融合后的特征作为下一个阶段的输入；同时高分辨率分支的每一个阶段都融入一个分割引导机制，得到一个分割引导的HRNet；利用分割引导机制来逐步改善每个阶段产生的检测结果。

2.根据权利要求1所述的一种基于分割引导的人体姿态估计方法，其特征在于具体实现步骤如下：

步骤(1)在网络构建之前，为每个训练图像制作对应的二值化分割图S，并将二值化分割图S作为监督信号融入到网络中；

步骤(2)构建HRNet网络,并针对每个阶段的高分辨分支，添加一个分割引导模块用于预测二值化分割图，将输出的二值化分割图与高分辨率分支输出的特征图点乘后作为输出，该过程称之为分割引导机制；

步骤(3)添加分割引导机制后,得到多任务的人体姿态估计模型SG-HRNet；使用动态加权平均的多任务优化方法对模型SG-HRNet的参数进行训练，直至整个网络模型收敛。

3.根据权利要求2所述的一种基于分割引导的人体姿态估计方法，其特征在于步骤(1)具体实现如下：

1-1、计算训练图像位置p处的二值化分割值S(p)表示为：

其中，p为图像位置p处的二维位置向量(x,y)，ρ为人体所有骨骼点集合，P为一个人体骨骼点的二维位置向量，||·||为欧几里得范数,r为半径；图像位置p处与任意人体骨骼点P的距离在r之内时为1，其余情况为0。

4.根据权利要求3所述的一种基于分割引导的人体姿态估计方法，其特征在于步骤(2)具体实现如下：

2-1、设f_s是当前s阶段高分辨率分支的输出特征图，则用于预测分割图的特征通过F_s＝w_s*f_s来计算，w_s是需要被学习的权重矩阵；再通过卷积操作将通道数降为1；

2-2、通过使用分割图M_s来引导对应阶段的特征图f_s，从而实现分割引导机制；分割图M_s是通过激活函数来计算得到：

M_s＝sigmoid(conv(F_s)) (2)

最后在s阶段的高分辨率分支输出的的预测热图y_s计算为：

y_s＝f_s⊙M_s (3)。

5.根据权利要求4所述的一种基于分割引导的人体姿态估计方法，其特征在于步骤(3)具体实现如下：

分割图损失函数骨骼点热力图的损失函数通过下方式获得：

其中，N为模型含有的阶段数，M_s表示第s阶段预测的分割图，为分割图真值；

其中，p代表第p个预测位置，(m,n)表示模型输出的热图空间位置，y_p表示预测热图，表示热图真值；

在进行多任务优化时，使用动态加权的方式来动态平衡两个任务的损失函数，得到最终的损失函数

其中，t表示第t次反向传播，w_s(t)为分割损失函数的动态加权，w_k(t)为骨骼点损失函数的动态加权

N1为任务数量，r_n(t-1)为任务n的损失函数变化因子，计算方式如下：

针对通过反向传播算法迭代训练，直至模型收敛。