[发明专利]基于行人身份和属性特征联合识别验证的行人再识别方法

说明书

本发明提供了一种基于行人身份和属性特征联合识别验证的行人再识别方法，充分利用行人身份和属性特征的互补信息，联合识别和验证两种模式同时对深度卷积神经网络进行多任务学习，得到更具判别性的行人特征。本发明对行人身份特征和行人属性特征的同时学习，可以使神经网络的特征层既能学习到行人高层的整体身份特征，又能抓取到中层的语义特征，使这两种特征在同一个神经网络中得到有效融合，从而具有更强的鲁棒性和判别性。另外，本发明联合行人识别与行人验证两种模式监督式训练深度卷积神经网络，既能使学习得到的行人特征将不同类行人图片辨别出不同的类别，又能使同一个行人的特征距离很近，而不同行人的特征距离较远。

技术领域

本发明涉及计算机视觉与模式识别技术领域，尤其是一种联合识别和验证的行人再识别方法。

背景技术

近年来，无重叠视野的监控摄像机常用来对学校、车站等人流密集的公共场所进行大范围视频监控，在安全防范、案件侦查以及疑犯追踪等方面发挥着重要作用。对于大部分监控场景来说，行人是智能监控的重要分析对象，基于视觉的行人再识别技术是智能监控的重要研究内容，是实现跨摄像头检索和跟踪的基础。尽管现有的行人再识别方法已经取得了一些成果，但是受复杂多变的光照和成像条件影响，行人再识别仍然是一项充满挑战性的工作，行人再识别存在的问题具体表现在以下几个方面：(1)同一行人在不同摄像机下外观变化剧烈；(2)行人外观的判别性较弱，不同行人外观有较强相似性；(3)标注数据集过小。

当前行人再识别方法主要是利用行人身份(ID)信息对深度卷积神经网络进行监督式训练，其中有两种常用的监督式训练模式：一种是识别模式，即将行人再识别问题转化为行人多分类问题；另一种是验证模式，即将行人再识别问题转化为验证两张行人图片是否属于同一个人的问题。另外，也有一些行人再识别方法利用行人属性标记，监督式训练深度卷积神经网络，将行人再识别问题转化为多属性标记分类问题。但是现有方法未联合识别和验证模式来训练网络同时学习行人身份特征和属性特征。

发明内容

为了克服现有技术的不足，本发明提供一种基于行人身份和属性特征联合识别验证的行人再识别方法。本发明为一种实用性强、可明显提高行人再识别准确率的基于行人身份和属性特征联合识别和验证的跨摄像机行人再识别方法。充分利用行人身份和属性特征的互补信息，联合识别和验证两种模式同时对深度卷积神经网络进行多任务学习，得到更具判别性的行人特征。与现有方法相比，本发明大幅提高了行人再识别的准确率。

本发明解决其技术问题所采用的技术方案是包括以下步骤：

(1)行人再识别训练集表示为共包含N张行人图片I_i，每张行人图片标记有身份标签y_i∈{1，...，C}和行人语义属性标签a_i＝[a_i，1，..，a_i，m]，C为类身份类别，每个行人含有m个行人属性，行人属性包括年龄、性别、头发长度、上衣长度、背包、手提包、裤子颜色和鞋子颜色；所使用的训练图片是在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，身份和属性标签都由手工标定；再识别数据集包括Market-1501和DukeMTMC-reID；

(2)采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；ResNet50模型包含多个卷积层和池化层，最后一个隐含层经过全局平均池化操作后，接一个含有1000神经元的全连接层，用于预测ImageNet数据集的图片类别；使用在ImageNet预训练过的ResNet50模型架构和参数，只将最后含有1000神经元的全连接层换成含有2048神经元的全连接层，用于学习同时识别行人身份和属性和验证行人身份的行人判别性特征；

(3)设计基于行人身份和属性特征学习的行人识别任务；

包含两个特征学习任务：行人身份特征学习任务和行人属性特征学习任务；