[发明专利]一种基于关键点检测的衣服种类和属性分类方法

权利要求书

1.一种基于关键点检测的衣服种类和属性分类方法，其特征在于，包括以下步骤：

S1：采集训练样本的数据；

S2：构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；

S3：利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；

S4：根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测；

所述步骤S2中深度模型包括两个卷积神经网络；

第一个深度卷积神经网络对衣服关键点位置进行学习，运用卷积神经网络的卷积层提取图像的数据的基础表达，再利用反卷积层得到与原图同样尺寸的特征图来预测各个关键点的位置；

第二个深度卷积神经网络用于融合衣服图像的局部特征和全局特征，其中，局部特征根据第一个深度卷积神经网络预测得到的关键点位置提取；

衣服图像经过第一个卷积神经网络，预测出衣服关键点的位置；再根据这些关键点，确定出与识别目标有关的局部区域，再经过第二个卷积神经网络融合局部和全局特征对衣服种类和属性进行预测，输出最终的结果；

所述的第一个深度卷积神经网络由三种主要的层实现，分别是卷积层、降采样层和反卷积层；该卷积层的输入特征和输出特征的长宽一致，可保持尺度不变；最后一层输出的特征为256×256×L，其中L是关键点的个数，让输出的feature map的第k个通道预测第k个关键点的位置，对于该通道上的每个点的响应值F(x,y,k)，令它为预测点(x,y)是第k个关键点的概率值：

采用交叉熵来训练该卷积神经网络，定义损失函数如下：

其中batch_size是输入神经网络图像的数目，H为输入图像和输出特征的高，将手工标注的点坐标记为(x_g,y_g)，而对于一个二维平面，在标注点邻近的点也可作为目标点，即(x_g-1,y_g)，(x_g,y_g-1)，(x_g+1,y_g)，(x_g,y_g+1)，(x_g-1,y_g-1)，(x_g+1,y_g+1)坐标也可以作为标注坐标；

因此定义标注点(x_g,y_g)处的值为最大概率值1，其邻近的坐标按照一定比例线性下降，即如下公式所示，其中α为衰减因子；

Q(x,y,k)＝max(0,1-αmax(|x-x_g|,|y-y_g|))

再将Q(x,y,k)标准化之后，得到真实坐标的期望概率分布G(x,y,k)

这样通过神经网络的反向传播算法更新及参数值，从而学习到一个健壮的模型。

2.根据权利要求1所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述第二个深度卷积神经网络的设计如下：

在得到关键点坐标后，可以据此确定出相关细节区域，左右手臂，领子区域，将这些细节区域和全局图像同时输入卷积神经网络，在最后一个卷积层输出的特征再输入element-wise average pooling层，该层的数学定义如下：

其中o_i,j,k表示该层在位置i,j,k的响应值，分别代表第1,2,3,...,N个区域在同一位置上的响应值。

3.根据权利要求2所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述步骤S3中还包括对关键点的检测，其过程如下：

采用平均相对误差来衡量错误

其中表示标注的第i张图的第j个点的坐标，其中表示预测第i张图的第j个点的坐标，k是关键点坐标的数量，n是测试图片的数量，D_i是一个标准化项，表示左肩膀和右肩膀的距离。