[发明专利]一种基于卷积长短时记忆网络的渐进迁移学习方法

说明书

本发明公开了一种基于卷积长短时记忆网络的渐进迁移学习方法，包括：(1)选择经过预训练后的基础网络模型；(2)基于批相关卷积单元构建一个旁枝网络，将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络；所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元；基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中；(3)对渐进迁移学习网络进行训练，训练过程使用随机梯度下降算法和交叉熵损失函数；(4)训练结束，对训练得到的模型进行行人重识别应用。利用本发明，可以缓解批数据数据分布与数据集整体分布差异导致的模型微调效果不佳的问题。

技术领域

本发明属于计算机视觉技术领域，尤其是涉及一种基于卷积长短时记忆网络的渐进迁移学习方法。

背景技术

行人重识别问题旨在利用目标人物照片作为输入检索出该目标人物在其他时间点、不同摄像头下被拍摄到的历史记录。行人重识别系统因其广泛的应用，如无人超市、目标人物追踪与分析、搜寻遗失老人及小孩等，在现实生活中有着丰富的应用场景。因此，行人重识别问题近年来在计算机视觉领域引起了广泛的关注。

由于真实的应用场景内存在剧烈的照明变化、行人姿态的变化、摄像机角度变化、遮挡、着装变化等差异性变化，使得行人重识别问题具有挑战性。如何在存在大量环境变化的情况下学习判别性的特征表达是行人重识别人物的基本问题之一。早期的主流行人重识别方法，如Shengcai Liao等人发表在2015年《Proceedings of the IEEE conference oncomputer vision and pattern recognition》的论文《Person Re-identification byLocal Maximal Occurrence Representation and Metric Learning》，通过人工获取的特征来解决行人重识别问题。这些方法中的大部分集中在底层的信息上，如人穿的衣服颜色和纹理信息等。当光照条件发生较大变化或人们更换衣服时，这些底层的特征将会变得十分不可靠。

近年来，随着深度学习方法的兴起以及大规模数据集如CUHK03、Market-1501、MSMT17等的公布，使行人重识别技术得到了繁荣发展。比较突出是利用深度卷积网络自动学习身份敏感和视点不敏感的行人特征进行重新识别的基于分类或排序模型的方法，如Wei Li等人发表在2014年《Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition》的《DeepReID:Deep Filter Pairing Neural Network forPerson Re-Identification》以及Liang Zheng等人发表在2017年《Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition》的论文《Person Re-identification in the Wild》。

尽管基于深度神经卷积网络的方法取得了显著的进展，但一些关键问题仍然没有得到足够的重视，并且阻碍了行人重识别方法的产品化。

首先，行人重识别场景具有差异性的环境特征，因此现有的公开数据集间存在较大差异。这一差异导致在其他数据集上训练得到特征提取模型不能直接在新场景中使用，使得在每一个新场景下都需要标注大量的训练样本，通过使用这些训练样本对预训练的特征提取模型进行微调。

其次，目前深度神经卷积网络多使用mini-batch的批训练方式。而该训练方式存在一个缺陷，即每个随机采样的mini-batch内部的数据分布与训练数据集整体存在差异，这使得模型在新场景中进行微调时不能获得很好的微调效果。

发明内容

本发明提供了一种基于卷积长短时记忆网络的渐进迁移学习方法，以减轻由mini-batch数据分布与整体数据分布偏置导致的预训练模型在新数据集上微调效果不佳的问题，进而提升模型的行人重识别准确度。