[发明专利]基于深度姿态预估和多特征融合的行人衣着属性识别方法

权利要求书

1.一种基于深度姿态预估和多特征融合的行人衣着属性识别方法，其特征在于，包括如下步骤：

步骤S1、对于监控场景下的输入图像通过图像去噪以及图像增强方式进行预处理；

步骤S2、对预处理后的输入图像进行基于深度卷积神经网络DCNN的姿态预估，界定图像中的前景与背景区域，将姿态特征作为融合特征的其中一部分；

步骤S3、对经步骤S2处理后的图像的前景区域提取融合特征，并通过PCA进行特征降维；

步骤S4、利用一个公共数据集对输入图像进行样式检索，检索得到包括：相似图像样本、图像样本本身的服装标签标注；

步骤S5、将以上得到的不同形式的融合特征，输入设计的行人衣着属性识别框架，获得最终的衣着属性识别结果；

在所述步骤S2中，对预处理后的输入图像进行基于深度卷积神经网络DCNN的姿态预估的具体方式如下：

步骤S21、构建图像模型G＝(V,E)直观表示一个人体模型，其中V表示人体的关节点或者身体某部位，E为节点之间联结的边，E∈V×V，表示相邻节点之间的空间关系，且令K＝|V|表示关节数量；定义I表示图像，i表示该图像中第i个节点，l表示节点的像素坐标，t表示节点的混合空间关系，由不同姿态实例聚类抽象并组合，那么根据图像模型中的定义，有i∈{1,...,K}，定义l_i∈{1,...,L}，t_i∈{1,...,T}，l_i表示节点i的像素坐标{(x_i,y_i)}，t_i表示节点i与其相邻节点的空间关系类型集，即该节点处的T个姿态类型；

步骤S22、由步骤S21，人体关节部分的外观模型可以表示为：

且有

φ(l_i,t_i|I；θ)＝logp(l_i,t_i|I；θ)

其中，p(l_i,t_i|I；θ)是通过DCNN中前向传播Softmax函数最终计算得到的得分结果映射得到的概率域，用于预测在图像I中节点i的混合姿态类型为t_i并且像素坐标是位于l_i的概率，θ是模型的参数；

关节间空间关系可以表示为：

对空间关系模型加入标准二次变化，定义＜d(l_i-l_j)＞＝[dx dx² dy dy²]^T，且dx＝x_i-x_j、dy＝y_i-y_j，表示节点i关于节点j的相对像素定位；

最后可得

上式表示人体姿态估计模型，并以树形结构表示；

步骤S23、通过K-means聚类的方法，根据中心关节与相邻关节的空间相对位置，对预处理得到的局部图像块进行聚类操作，得到预训练模型；

步骤S24、利用DCNN进行训练，通过得分函数模型将图像映射到不同的姿态类型，并且根据标注信息，通过损失函数调整权重、参数，使映射的得分结果与实际类别吻合，完成对姿态类型的分类，得到DCNN多分类模型；

所述步骤S4具体实现方式如下：

步骤S41、首先在一个公共数据集上建立KD-tree索引树；

步骤S42、选取融合特征作为样本特征，对比输入图像以及数据集中样本的外观融合特征，结合L2-distance，通过KNN的聚类方法，搜索KD-tree；

步骤S43、选取前25个结果组成最近邻样本集，并且这些样本本身标注好的服装标签信息也组成候选标签；

所述步骤S5具体实现方式如下：

步骤S51、定义样本中图像的像素为i，该像素的预测服装标签为l_i，该像素的复杂特征为f_i；定义通过最近邻检索得到的最近邻样本集为D，样本集中带有的已标注的标签集定义为τ(D)，t表示一个服装类目标签；定义每种解析都分别带有一个混合参数Λ≡[λ₁,λ₂,λ₃]从而进行最终的置信度组合；

步骤S52、融合基于逻辑回归的全局识别、基于最近邻样例的近似识别以及基于掩模转换的迁移识别的识别结果：

全局识别像素-标签置信度的函数模型如下：

P表示的是给定复杂特征f_i以及模型参数的逻辑回归结果，即表示其中一个标签t在这个样本中存在的概率值，1[·]是一个指示函数，表示标签t是最近邻样本的标签集中的一员，模型参数使用The Fashionista Dataset作为正样本进行训练；

近似识别像素-标签置信度的函数模型如下：

模型参数使用最近邻样本集D作为训练集训练；

基于掩模转换的迁移解析像素-标签置信度的函数模型为：

其中j表示存在于最近邻样本超像素块中的像素，参数为全局解析中的模型参数，M(l_i,s_i,d)表示针对最近邻样本超像素块区域进行全局解析得到的逻辑回归结果的平均值；

步骤S53、将三种解析融合分析，Λ≡[λ₁,λ₂,λ₃]分别定义三种解析的权重比率，通过一个融合模型计算各个服装标签-像素的置信度：

C(l_i|f_i,D)≡C_global(l_i|f_i,D)^λ1.C_nearest(l_i|f_i,D)^λ2.C_transfer(l_i|f_i,D)^λ3.

步骤S54、结合迭代平滑的处理过程：定义所有像素的标签分配情况为L≡{l_i}，即对图像中各像素标注服装标签的情况和服装项目外观模型其中是一个服装类目标签t的融合外观模型，那么最终的优化结果是找到最优的像素-标签分配L^*以及外观模型集Θ^*；迭代过程开始时，定义初始的像素-标签分配情况为表示通过MAP分配结合首次经过融合解析置信度得到的像素-标签结果，初始服装类目标签的融合外观模型集合为表示服装类目逻辑回归模型集合，使用作为训练数据训练；定义迭代的过程用常数k表示进行迭代的次数，E表示相邻的像素对，那么在第k次迭代时，其像素-标签分配情况为融合外观模型则优化像素-标签分配情况模型为：

其中：得到最终的识别结果。