[发明专利]基于联合局部特征判别性学习的无监督目标行人重识别方法

权利要求书

1.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：联合局部特征提取网络；

为了使网络根据图像中行人姿态角度变化提取出不同区域的局部特征，减少局部特征不能很好对齐问题，在ResNet50网络后加入了两个并行的空间变换器进行局部区域的划分并使用简单的卷积神经网络进行特征提取将图像的中间特征映射送入多个定位网络中，对特征映射进行空间变换与原图像相比，减少了网络计算复杂度；定位网络由核大小为3×3卷积层和两个全连接层组成，使用ReLU作为该网络激活函数，最后一个全连接层初始化偏置，为了得到两种划分方式的局部采样网格，利用定位网络分别预测出两组空间位置参数θ＝{θ₁，θ₂，...，θ_M}和η＝{η₁，η₂，...，η_N}；

为了使预测的空间位置能够获取有效的细粒度特征并在空间中对齐，这里根据人体垂直方向的各部位对两个空间变换器中的位置参数进行预测；人体可以分为头部、上身和下身三部分，通常人体为上身短下身长，其头部占比最小，其次是上身，然后是下身，但是在摄像头下，由于摄像头角度的变化和行人姿态的变化，得到的图像中行人比例就会发生变化，比如出现上身长下身短的问题，同一行人划分出来的局部区域可能会出现无法对齐的情况；

定位网络首先预测三组空间位置参数对行人进行水平方向不等比例的划分得到纵向宽比接近为1:2:3的三块局部区域，从上往下得到的局部特征，使头部所占比例最小，中间接近正常视角上身的大小，最后包含行人臀部以下的特征信息，网络可以根据图像中行人的变化具体情况对图像空间中行人划分出不同的局部区域，可以很好地应对行人比例、姿态等变化造成的局部特征不能对齐问题；

另外行人上身部分和下身部分又包含较为详细的行人信息，可分为胸部、腹部、大腿、小腿及脚等部位，其不同的部位可能包含的特征信息不同，精细的局部区域划分得到的特征信息可以更好地使模型提取图像中的细粒度特征，因此，又考虑根据人体包含的几个部位预测六组空间位置参数将图像划分出六块局部区域，便于网络挖掘行人局部区域的更有效的细粒度特征信息，结合两种局部特征信息有利于提高模型的鲁棒性和识别精确度，这里位置参数采用大小为2×3的仿射变换，通过对特征映射进行裁剪操作获取局部区域；其中A_θ，A_η分别表示两组定位网络中的未知参数，通过预测参数a,b,c,d对图像进行局部剪裁；

根据预测的参数对对特征映射进行裁剪，使其根据图像中行人的空间位置，划分出不同位置和尺度的局部采样网格，生成过程为其中，对于定位网络参数化的每个空间位置，表示输入的空间位置坐标，表示输出的空间位置坐标；最后得到两组不同划分方式的局部采样网格参数，用采样器进行采样，上式在同一图像中分别得到了纵向宽比接近1:2:3的三块局部区域和六块局部区域，由于不同的局部区域包含行人不同部分的特征信息，最后将得到的局部区域分别送入简单的卷积神经网络中编码得到局部特征；该卷积神经网络由自适应平均池化函数、卷积层、BN层、两个全连接层组成，其中，使用自适应平均池化函数保证输入到卷积层中的特征区域为特定大小2048×1×1的局部特征映射，然后通过卷积层、BN层和两个全连接层对局部区域分别进行特征提取，同时连接局部特征信息可以得到图像局部拼接的特征信息，使模型获得图像中行人的整体重要信息，减少不同行人局部特征相似造成的匹配不准问题。