[发明专利]基于倍率学习的低分辨率行人重识别算法

权利要求书

1.一种基于倍率学习的低分辨率行人重识别算法，其特征在于，

(1)倍率自适应超分子网络

倍率自适应超分子网络由堆叠七次的单元构成，每个单元结构有三个分支：H分支、M分支和α分支，分别实现学习低分辨率图像泛化的超分信息、细粒度的补充信息以及融合系数；行人图像经过卷积层提取到浅层特征F_c后，分别输入H分支和M分支；不同倍率输入图像在数据处理阶段分配不同倍率编码α_in，输入α分支获得融合系数；

浅层特征提取：

F_c＝f(x^L)    (1)

其中，x^L∈R^h×w×3，代表低分辨率图像；f是一个3×3卷积；F_c∈R^h×w×c，其中h、w表示图像特征的高度和宽度，c是通道的数量；

H分支由DBPN中一组向下和向上投影单元组成，该分支通过对投影图像和原始图像的残差纠正，缓解投影误差；这种图像残差再投影方法能恢复行人图像的边缘轮廓信息，即泛化的行人信息；

H^t＝GB(H^t-1)，H⁰＝F_c    (2)

其中，GB是投影单元，H^t-1和H^t是第t个单元的输入和输出，第一个单元输入是浅层特征F_c；

在行人重识别任务中，边缘轮廓信息无法准确识别特定行人，还要补全细粒度信息；M分支为特征聚合分支，由卷积层和ReLU激活函数组成；卷积层实现对图像细粒度信息提取，M分支最终输出特征融合行人边缘轮廓信息和细粒度信息，以此得到行人判别性信息；

M^t＝Block(H^t-1，M^t-1)，M⁰＝F_c    (3)

其中，Block是卷积单元，H^t-1和M^t-1是第t个单元的输入和输出，第一个单元输入是浅层特征F_c；

为确保倍率自适应超分子网络对各种倍率的输入图像进行精准超分，引入线形引导分支α根据图像输入倍率不同，动态控制不同特征信息的占比；

α^t＝T(α^t-1)，α⁰＝α_in，a^t＝σ(α^t)，b^t＝1-a^t   (4)

M^t＝a^tH^t+b^t(DB(M^t-1))    (5)

其中，T是线性单元，由三个全连接层组成，α^t-1和α^t是第t个线性单元的输入输出；第一个单元输入是倍率编码α_in；σ是sigmoid函数，该函数将全连接层的输出映射为H分支和M分支的占比系数a^t和b^t；公式(5)为单元结构判别性特征的融合公式；

倍率自适应超分子网络将所有阶段M分支的融合特征整合作为最终输出，整合特征经过3×3卷积降维得到最终的高分辨率图像；

x_SR＝f_Rec(M¹，M²...M⁷)   (6)

其中，f_Rec是concat操作，f_Rec是3×3卷积降维操作，x_SR是行人超分图像；

(2)蒸馏识别子网络

使用HRNet-ReID网络作为特征提取骨干网络，HRNet-ReID网络由四个分支并行学习从高到低不同分辨率的特征信息；为适应re-ID图像检索需求，每条分支最后的特征图经过平均池化和最大池化被压缩为特征序列作为最终输出；两条高分辨率信息分支学习空间位置信息，两条低分辨率信息分支突出对行人语义理解；HRNet-ReID网络通过对四条分支信息交互融合，维护所学特征的高空间敏感度，突出细粒度语义信息的表达；

为消除超分图像和真实图像在特征空间中的分布域差异，设计了蒸馏结构模型；蒸馏结构模型由两支完全相同的HRNet-ReID网络构成：真实高分辨率图像判别性特征提取分支和超分高分辨率图像判别性特征提取分支，网络参数不共享；同时提出特征结构学习公式，引导超分图像分支和真实图像分支进行特征分布一致性学习；特征结构学习公式如下所示：

其中，h是网络学习到的特征图，h(u)和h(v)是特征图中任意两点空间位置u和v，||h(u)||₂是u所在特征图的L₂范数，代表对u所在的特征图归一化，是对得到的归一化矩阵进行转置操作；求解过程和相同通过该公式能够计算出特征图任意两点间的相互关系，学习到HW×HW大小的特征结构关系图；

(3)Loss函数的设计

完整的多任务损失表示如下：

其中，是超分图像像素损失；和是行人重识别任务常用的交叉熵损失和难样本挖掘三元组损失；和是蒸馏网络强弱相关性损失；各损失函数的定义和约束范围如下，λ₁，λ₂，λ₃，λ₄，λ₅是权衡参数；

其中，x_SR是行人超分图像，x_HR是对应的高分辨率图，为任务的目标结果；

HRNet-ReID网络最终输出包括四支不同分辨率的特征序列、所有分支串联形成的整序列以及经过分类层后的特征分类序列，最终输出的六支特征序列记为[PART]_1-4，[GLB]，[CLS]；是x属于真实标签的概率；

其中，d_p，d_n∈{[PART]_1-4，[GLB]}，d_p是正样本序列，d_n是负样本序列；α是阈值；蒸馏识别子网络的高分辨率图像特征提取分支和超分图像特征提取分支都受到和损失约束；

为缩小超分图像和真实图像特征分布差异，提出结构相关性损失，将真实图像的特征关系转移到超分图像，引导识别网络准确提取超分图像判别性特征；公式(12)是特征结构强连接，S_h是高分辨率图像特征提取分支的输出，S_l是超分图像特征提取分支的输出，S_h，S_l∈{[PART]_1-4，[GLB]}，代表蒸馏网络两条分支六个序列的相互学习；

根据提出的特征结构学习公式，设计出特征结构弱连接损失函数公式(13)；高层语义更能准确表达特征结构信息，故选用低分辨率特征作为结构学习基准；故f_h和f_s分别代表蒸馏网络高分辨率图像特征提取分支和超分图像特征提取分支中[PART]₃和[PART]₄支路的特征图。