[发明专利]一种基于深层对抗网络的视频人体属性识别方法

说明书

技术领域

本发明涉及人体属性识别领域，尤其是涉及了一种基于深层对抗网络的视频人体属性识别方法。

背景技术

监控摄像机在全世界大部分城市迅速蔓延开来，在监视任务中，计算机视觉的重点是跟踪和检测目标以其视觉外观描述的目标，捕捉到尽可能多的人物特征对于使用人员更好地理情况尤为重要，属性识别通过安全摄像机检测人们的属性(如年龄、性别等)和物品(背包、包等)，常用于视频检索、危险行为预警、交通流视频监控、工业自动化监控、安防以及自动售货机、ATM机、商场、车站等公共场合的监控录像中可疑人物的行为等领域，虽然现在视频人的属性识别取得较大的发展，但是大部分都是基于视频人的脸部进行属性(性别、年龄和种族)识别的，很少基于人的整个身体进行识别，而且大部分都是认为监控视频是全分辨率且人是不封闭的，但是事实上，通常具有远视野的监视摄像机都会受到分辨率问题和人员遮挡的严重影响，所以现在常用的方法在监控视频的人的属性识别仍具有一定的局限性。

本发明提出了一个深层架构，用于在监视视频中检测人的属性(如性别，种族，服装…)。通过混合神经网络的能力和基于部分的方法，对图像中的对象进行分解预测，赋予其鲁棒性，使用加权损失进行训练，获得属性预测得分，重建网络，使架构对闭塞具有鲁棒性，消除障碍物，利用鉴别器网络对闭塞图像进行分类，最后利用超分辨率网络提高图像的分辨率，获得视频人体属性识别结果。本发明能够提高低分辨率图像的分辨率，处理遮挡问题，即使在分辨率差且存在强遮挡的情况下，也能有效地提取属性，使识别效率大大提高，适用于多种应用领域。

发明内容

针对分辨率低和闭塞的问题，本发明的目的在于提供一种基于深层对抗网络的视频人体属性识别方法，通过混合神经网络的能力和基于部分的方法，对图像中的对象进行分解预测，赋予其鲁棒性，使用加权损失进行训练，获得属性预测得分，重建网络，使架构对闭塞具有鲁棒性，消除障碍物，利用鉴别器网络对闭塞图像进行分类，最后利用超分辨率网络提高图像的分辨率，获得视频人体属性识别结果。

为解决上述问题，本发明提供一种基于深层对抗网络的视频人体属性识别方法，其主要内容包括：

(一)属性分类网络；

(二)重建网络；

(三)超分辨率网络。

其中，所述的基于深层对抗网络的视频人体属性识别方法，人的属性分类方法能够学习对象不同部分的姿态归一化的深特征表示。

其中，所述的属性分类网络，通过混合神经网络的能力和基于部分的方法，当面对由姿势和视点的影响所支配的无约束图像时，对图像中的对象进行分解预测，赋予其鲁棒性。

进一步地，所述的分解预测，将输入图像I分解为对应于整个身体和三个部分块{p∈P}，三个部分块分为头-肩膀部分，行人的上身和下身，三个部分块和整个身体通过ResNet50网络在ImageNet中训练分类基于卷积特征映射得到四部分；计算特征映射后，划分出两个属性得分路径，在第一个路径上，使用全身特征映射，以获得基于整个人的预测得分；将基于部分的技术合并到第二条路径中，计算每个图像分区的预测得分，进行最大得分操作，为每个属性选择最接近描述性的部分，最后的属性预测是通过将整个身体得分添加到部分得分来完成的：

ω_i为不同区域第i属性的得分权重，φ(·)表示不同区域的特征图；数据集中属性类分布可能不平衡，使用加权损失进行训练。

进一步地，所述的加权损失，网络每个属性具有不同的权重，使用加权二进制交叉熵损失进行训练：

其中A是属性总数，y是真实对照标签矢量，是预测的标签向量；对于每个属性，r是持有该属性的样本数和样本总数之间的比率。

其中，所述的重建网络，整合一个网络系统，使前一个架构对闭塞具有鲁棒性，消除障碍物，并取代他们的身体部位，在最坏的情况下，即使更换身体的零件不反映人的真实属性，重建仍然可以帮助分类。

进一步地，所述的重建，从闭塞的输入图像I^O训练生成函数G^R能够估计重建图像I^R，训练过程中I^O通过人为地部分地将图像I与另一个图像重叠获得，训练一个生成器网络作为参数θ_g的CNN前馈对于N训练图像，可以获得：

通过最小化损失函数Loss_R得到，进一步定义鉴别器网络，参数θ_d和一起训练