[发明专利]一种基于多通道时空网络和联合优化损失的身份识别方法

权利要求书

1.一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：包括多通道时空网络系统和联合优化损失系统，所述联合优化损失系统包括改进三元损失函数、标签平滑正则化交叉熵损失函数两部分，所述标签平滑正则化交叉熵损失函数为针对传统分类网络在训练过程中交叉熵损失函数，计算所述交叉熵损失中融入标签平滑正则化，实现该方法的步骤包括：

步骤一、步态序列预处理，通过步态图像预处理算法，将CASIA－B步态数据库中的步态图像，分别通过步态序列预处理成尺寸一致、中心对齐的步态轮廓序列和骨架序列；

步骤二、将步态序列预处理所得步态骨架序列和轮廓序列共同输入多通道时空网络系统，以充分提取步态序列间时空特征；

步骤三、结合三元组网络建立步态身份识别模型；

步骤四、结合改进三元损失和优化交叉熵损失共同监督网络训练。

2.根据权利要求1所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述多通道时空网络系统为采用多通道浅层卷积神经网络串联长短时记忆神经网络的结构作为特征提取的主干网络，并将周期内一一对应的步态骨架、轮廓序列直接作为网络的输入，以充分挖掘步态序列间时空信息。

3.根据权利要求1所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述改进三元损失为针对三元损失训练过程中正负样本的挑选方式进行改进，在正负样本的选择上增加更强的约束。

4.根据权利要求3所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述三元损失值的计算方法为在训练过程每个Batch中计算所有样本的空间欧氏距离，并通过距离原样本最近的负样本和距离原样本最远的正样本来计算，其计算公式为：

其中，每个Batch中输入p个类别的原样本，并且每个类别的样本选择k帧不同的步态序列，组成p*k帧步态序列，L_th为最终三元损失值，a表示原样本，A为与原样本距离最远的正样本集合，B为与原样本距离最近的负样本集合。

5.根据权利要求4所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述标签平滑正则化交叉熵损失函数中的标签平滑正则化方法的计算公式为：

其中，λ为平滑标签的权重，其取值范围为λ∈[0,1]，n为标签种类的个数。

6.根据权利要求5所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：在交叉熵损失中融入LSR后的表达式为：

7.根据权利要求6所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：联合改进三元损失函数和标签平滑正则化交叉熵损失函数，共同监督网络训练，融合后的所述联合优化损失系统损失函数表达式为：L_total＝k×L_LSR-ce+L_th

其中，L_LSR-ce为加入LSR的交叉熵损失函数，L_th为改进的三元损失函数，k为融合两种损失函数的权重系数。

8.根据权利要求1～7任一项所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：还包括注意力机制，通过所述多通道时空网络系统可捕捉到关键帧并对其步态特征重点提取，以增加网络模型的准确率和鲁棒性。

9.根据权利要求8所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：所述注意力机制中包含有步态序列的权重，所述步态序列的权重为每类步态序列的共有帧数与对应长短时记忆神经网络输出的分数进行归一化后所得，其计算公式为：

其中，Q_j表示对应j帧步态序列的权重系数，c_j表示长短时记忆神经网络第j帧步态序列融合特征的输出值。

10.根据权利要求9所述的一种基于多通道时空网络和联合优化损失的身份识别方法，其特征在于：根据所得权重系数Q_j进一步计算基于注意力机制的时空特征，其计算公式为：

其中，F表示基于注意力机制获得的时空特征，Q_j为attention机制所得第j帧序列所得权重系数，为对应j帧步态骨架、轮廓序列的融合特征。