[发明专利]基于深度姿态预估和多特征融合的行人衣着属性识别方法

说明书

本发明涉及一种基于深度姿态预估和多特征融合的行人衣着属性识别方法。该方法首先通过外观特征匹配，选取部分检索结果用于后续的属性识别；随后通过基于SSD的深度人体姿态估计方法，能有效定位出图像中属于行人的前景区域，并较好地排除背景因素干扰；最后融合多种方式的解析结果，并结合迭代平滑过程，采取最大后验概率分配的方式，加强属性标签与像素之间的相关性，得到最终的属性解析识别结果。本发明解决了单一解析方式下标签识别不准、像素解析区域偏差等问题。该方法简单灵活，具有较强的实际应用性。

技术领域

本发明属于计算机视觉，深度学习，图像处理领域，并将其应用到智能监控、行人重识别等场景，具体为一种基于深度姿态预估和多特征融合的行人衣着属性识别方法。

背景技术

现实世界中在监控视频获取的监视图像中进行行人属性识别具有较大的挑战性，其原因如下：(1)成像质量差，通常分辨率低，而且容易受运动模糊影响；(2)属性可能因为行人所佩戴或穿着的衣物的外观影响，并且不同的图像中也因为行人姿态不同，对应的属性也就处于图像中的不同空间位置；(3)来自监控视频图像中的标记属性数据难以收集并且仅可以少量获得。以上这些因素都使得通过训练学习一个行人属性模型变得非常困难。早期的属性识别方法主要依赖于手动提取的特征，例如该物品的颜色或者文本注释。而近些年，基于深度学习的行人属性识别模型开始吸引越来越多的人进行研究，这是由于深度学习得到的模型在大规模数据集下具有更加强大且稳定的学习能力，能够获得可以表示复杂特征的通用模型。同时由于通过监控视频获得的图像质量差，分辨率通常很低以及监控场景中的复杂的衣着外观变化，这些因素都无疑提高了深度学习在行人属性识别中的地位。

行人衣着属性识别相当于一种多标签图像分类(MLIC-Multiple Label ImageClassification)问题。现有的方法已经探索了顺序多标签预测。这些方法基于CNN-RNN模型设计。至关重要的是，这些现有的MLIC模型假定(1)大规模标记训练数据的可用性(2)具有足够好的图像质量。这两种假设对于监视图像中的行人属性识别都是无效的。最近的一种多人图像标注方法通过结合额外的人际社会关系和场景背景来推进这种连续的MLIC范式。该方法特别利用家庭成员和以朋友为中心的高分辨率照片图像的背景，但不能扩展到不良图像数据的开放世界监视场景。此外，需要强大的属性级别标签，而行人属性在图像级别大多是弱标签。

监控场景下得到的图像中行人属性标签处于弱级别的原因，且现有的属性识别方法在进行识别时存在的因为环境因素影响出现的定位偏差。

针对以上这些问题，本文提出利用行人姿态估计方法进一步界定图像中行人前景区域以及背景区域，排除背景因素的干扰。且通过图像处理的方式，提升监控场景下的图像质量，并且依托融合特征，以及融合属性识别的方法，加强识别方法的准确性。

发明内容

本发明的目的在于提供一种基于深度姿态预估和多特征融合的行人衣着属性识别方法，以克服现有技术中存在的缺陷，并解决单一解析方式下标签识别不准、像素解析区域偏差的问题。

为实现上述目的，本发明的技术方案是：一种基于深度姿态预估和多特征融合的行人衣着属性识别方法，包括如下步骤：

步骤S1、对于监控场景下的输入图像通过图像去噪以及图像增强方式进行预处理，提升图像质量；

步骤S2、对预处理后的输入图像进行基于深度卷积神经网络DCNN的姿态预估，界定图像中的前景与背景区域，将姿态特征作为融合特征的其中一部分；

步骤S3、对经步骤S2处理后的图像的前景区域提取融合特征，并通过PCA进行特征降维；

步骤S4、利用一个公共数据集对输入图像进行样式检索，检索得到包括：相似图像样本、图像样本本身的服装标签标注；

步骤S5、将以上得到的不同形式的融合特征，输入设计的行人衣着属性识别框架，获得最终的衣着属性识别结果。