[发明专利]一种面向监控视频的行人重识别方法

权利要求书

1.一种面向监控视频的行人重识别方法，其特征在于，采用时空注意力对输入的视频图像进行时空信息建模，并构建全局、局部卷积两个分支结构，全局卷积分支提供全局支持，局部卷积分支提供丰富的细粒度信息，所述卷积神经网络计算方法包括：数据集预处理、对行人图像进行特征提取并将提取到的特征划分为全局特征和局部特征、利用提取到的全局特征和局部特征分别计算分类损失和度量损失、网络训练与测试四个部分：

第一部分包括两个步骤：

步骤1，下载视频行人重识别公开数据集MEVID，选取自然场景复杂、角度多样和光照变化剧烈的图像作为测试集，将测试集图片尺寸统一到256×128大小，对测试集不进行任何的图像增强；

步骤2，对训练数据集分别进行空间和时间上的预处理，具体实施如下：

步骤2-1，对图片大小进行调整，先放大1.125倍，再裁剪为256×128像素；

步骤2-2，以50%的概率对训练图片进行水平翻转；

步骤2-3，随机选取一个图片的矩形区域，将这个矩形区域的像素值用随机值或者平均像素值代替，产生局部遮挡的效果；

步骤2-4，在随机位置裁剪给定的帧索引；

第二部分包括三个步骤：

步骤3，首先通过一个卷积核为7×7，步长为2的大核卷积层，尽可能保留原始图像的信息，并将通道数从原来的3通道扩大到64通道，接着采用3×3的最大池化进行下采样，得到大小为64×32的特征图feat1，然后利用如图1中的三个残差结构OSBlock1、OSBlock2、OSBlock3对feat1提取行人图像信息特征，每个残差结构包含两个bottleneck，具体实施如下：

步骤3-1，特征提取残差结构bottleneck如图2所示，bottleneck分为两条支路，其中一条支路，首先经过一个1×1卷积减少特征维度，接着经过四个不同感受野的卷积特征流，为了减少参数量，将普通3×3卷积分解为1×1的点卷积和3×3的深度卷积；

步骤3-2，不同的权重根据输入图像分配到不同的尺度，将步骤3-1得到的不同尺度的特征以动态的方式进行多尺度融合，所有尺度融合参数共享，此时在多尺度融合之后加入时间注意力机制，随着bottleneck的n次堆叠时间注意力也重复n次，接着通过1×1卷积对输出通道进行调整，bottleneck的另一条支路是残差边支路，仅进行一个1×1的卷积操作调整通道，最后将bottleneck的两条支路用add进行融合，得到特征图feat2；

步骤3-3，将步骤3-2融合后的特征feat2通过一个1×1卷积，然后再经过一个卷积核为2×2、步长为2的平均池化层进行下采样处理；

步骤3-4，特征图feat1经过三个残差结构OSBlock1、OSBlock2、OSBlock3之后，再通过一个1×1的卷积进行调整，得到特征图feat3；

步骤4，双分支结构如图3所示，将步骤3得到的特征图feat3送入全局分支，首先通过一个全局平均池化层，得到512为维的全局特征global_feature，然后采用BN层对全局特征进行归一化，最后通过全连接层得到网络输出output；

步骤5，将步骤3得到的特征图feat3送入局部分支，首先通过一个水平池化，对提取的行人特征进行水平分割，得到8个512维的细粒度特征向量，再使用1×1卷积核降维，获得128维的局部特征local_feature；

第三部分包括三个步骤：

步骤6，对步骤4提取的output进行计算分类损失，为了使两条分支保持一致，利用global_feature和步骤5提取的local_feature联合计算难样本采样三元组损失，局部分支使用全局分支中计算出的难样本对，即两条分支共享难样本参数；

步骤7，相似度量阶段，根据步骤4、5得出的global_feature和local_feature，计算特征之间的余弦距离，全局距离D1和局部距离D2之和即为两幅图像间的距离D3，最后通过最小化网络的度量损失，来寻找一个最优的映射，使得正样本对的距离尽可能小，负样本对的距离尽可能大；

步骤8，对步骤7得到的距离D3进行排序，排名越靠前说明与待检索图像越相似；

第四部分包括两个步骤：

步骤9，调试从步骤3到步骤8的网络结构超参数，设置网络模型参数，其中，epoch设置为350，使用预热学习率，初始学习率设置为0.00035，然后分别在75,150, 225，300epoch处衰减，采用迁移训练，batch size大小设置为16，训练后得到最终的训练模型；

步骤10，将步骤1中测试集输入步骤8中的训练模型中，得到视频行人重识别的测试结果。