[发明专利]一种基于特征解耦学习的半监督行人重识别方法

权利要求书

1.一种基于特征解耦学习的半监督行人重识别方法，其特征在于，包括以下步骤：

(1)、构建一个半监督的行人重识别模型

基于一个身份编码器E_id、一个结构编码器E_struct以及一个解码器D构建一个特征解耦网络，并作为半监督的行人重识别模型；

(2)、训练半监督的行人重识别模型

2.1)、计算监督训练损失L_S：

2.1.1)、将有标签Y的行人图像I^O输入到半监督的行人重识别模型中，一方面直接分别通过身份编码器E_id、结构编码器E_struct进行编码，得到身份特征结构特征另一方面将行人图像I^O水平翻转，生成水平翻转图像I^T，然后，水平翻转图像I^T，分别通过身份编码器E_id、结构编码器E_struct进行编码，得到身份特征结构特征

2.1.2)、身份特征通过GAPFC操作得到身份特征向量身份特征通过另一GAPFC操作得到身份特征向量(GAP，Global Average Pooling，即全局平均池化，FC，Fully connecting，即全连接)；将身份特征向量进行分类操作，得到属于标签Y的预测概率，进而根据预测概率计算出标签一致性损失将身份特征向量进行另一分类操作，得到属于标签Y的预测概率，进而根据预测概率计算出标签一致性损失

2.1.3)、将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像

计算自身图像重构损失

其中：|| ||₂表示L2范数；

计算交换图像重构损失

其中：

这样得到图像重构损失L_rec：

2.1.4)、计算身份不变性约束损失L_inv以及结构等变性约束损失L_equ：

其中，D_KL(*||*)是表示计算两个特征的Kullback-Leibler散度距离，T(*)表示对特征进行水平翻转变换

这样得到解耦特征的一致性损失L_ct：

L_ct＝L_inv+L_equ

2.1.5)、根据步骤2.1.2)-2.1.4)，得到监督训练损失L_S：

其中，权重系数α、权重系数β可以根据经验进行设定；

2.2)、计算无监督训练损失L_U：

2.2.1)、将无标签的行人图像I′^O输入到半监督的行人重识别模型中，一方面直接分别通过身份编码器E_id、结构编码器E_struct进行编码，得到身份特征结构特征另一方面将行人图像I′^O水平翻转，生成水平翻转图像I′^T，然后，水平翻转图像I′^T，分别通过身份编码器E_id、结构编码器E_struct进行编码，得到身份特征结构特征

2.2.2)、将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像将身份特征结构特征级联，然后通过解码器D解码，得到重构图像

计算自身图像重构损失

其中：|| ||₂表示L2范数；

计算交换图像重构损失

其中：

这样得到图像重构损失 ：

2.2.3)、计算恒等不变变换损失L′_inv以及结构等方变换损失L′_equ：

其中，D_KL(*||*)是表示计算两个特征的Kullback-Leibler散度距离，T(*)表示对特征进行水平翻转变换；

这样得到解耦特征的一致性损失L′_ct：

L′_ct＝L′_inv+L′_equ

2.2.4)、根据步骤2.2.2)-2.2.3)，得到无监督训练损失L_U：

L_U＝α′L′_ct+β′L′_rec

其中，权重系数α′、权重系数β′可以根据经验进行设定；

2.3)、计算总损失L_total：

L_total＝L_S+γL_U

其中，权重系数γ可以根据经验进行设定；

2.4)、将总损失L_total用于优化整个半监督的行人重识别模型，不断输入有标签Y的行人图像I^O以及无标签的行人图像I′^O进行训练过程，总损失L_total不断下降直到趋于平稳，此时半监督的行人重识别模型训练结束；

(3)、构造一个查询数据集

在查询数据集中每个行人有一张图像，将每个行人的图像及其水平翻转图像分别输入到训练好的半监督的行人重识别模型中的身份编码器E_id，得到身份特征身份特征再分别经过GAPFC操作，得到身份特征向量身份特征向量将身份特征向量身份特征向量的平均值作为最终的身份特征向量v_id，特征向量v_id作为查询数据集中该行人的查询索引；

(4)、行人重识别

对于不知身份的行人图像，按照步骤(3)的方法，得到身份特征向量然后与查询数据集中所有身份特征向量v_id计算余弦距离，余弦距离最小的身份特征向量v_id所对应的行人图像中的行人即为识别出的行人。

2.根据权利要求1所述的基于特征解耦学习的半监督行人重识别方法，其特征在于，权重系数α＝5、权重系数β＝0.3、权重参数γ＝0.01。