[发明专利]一种基于两阶段的服装关键点定位方法和系统

说明书

本发明公开了一种基于两阶段的服装关键点定位方法和系统，属于图像处理技术领域，方法包括：采用基于多任务的深度神经网络对服装图像中的服装关键点进行定位，得到服装关键点的粗定位信息；根据服装关键点的粗定位信息，提取感兴趣服装区域；采用深度全卷积网络对感兴趣服装区域中的服装关键点进行定位，得到服装关键点的最终定位信息；所述基于多任务的深度神经网络通过同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务后得到。本发明方法能够解决现有的基于单阶段的定位方法定位精度不高的问题，并更好地适应服装遮挡、形变，姿势变化等情况。

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于两阶段的服装关键点定位方法和系统。

背景技术

在图像处理领域，目标关键点的位置及其所携带的信息对目标识别等任务有着重要的作用，譬如人脸关键点，对人脸识别就有不可忽略的影响。可以说，目标关键点定位是图像处理领域的一个基础性的工作。同样，服装关键点定位的工作也会给服装检索等任务带来积极的影响。而服装检索技术已成为各大电商平台重点攻关的任务之一，因为，服装类产品是需求量最大的网络零售商品之一。

当前服装关键点定位方法的研究还处于起步阶段，现有的服装关键点定位方法很有限，大部分是基于单阶段的定位，定位精度不高，且定位效果容易受服装遮挡、形变，姿势变化等问题的影响。

由此可见，现有技术存在定位精度不高、定位效果容易受影响的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于两阶段的服装关键点定位方法和系统，由此解决现有技术存在定位精度不高、定位效果容易受影响的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于两阶段的服装关键点定位方法，包括如下步骤：

(1)采用基于多任务的深度神经网络对服装图像中的服装关键点进行定位，得到服装关键点的粗定位信息；

(2)根据服装关键点的粗定位信息，提取感兴趣服装区域；

(3)采用深度全卷积网络对感兴趣服装区域中的服装关键点进行定位，得到服装关键点的最终定位信息；

所述基于多任务的深度神经网络通过同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务后得到。

进一步地，基于多任务的深度神经网络的训练包括：

对样本服装图像集合中的每个样本服装图像，标注服装关键点的坐标、服装关键点的结构类型和服装关键点可视化类型，得到标注后的样本服装图像集合；

所述服装关键点的结构类型通过对服装关键点向量进行聚类后的聚类中心向量表示，将标注后的样本服装图像集合作为基于多任务的深度神经网络的输入，将服装关键点的预测坐标、服装关键点可视化类型的预测概率和服装关键点的预测坐标与聚类中心向量之间的距离作为基于多任务的深度神经网络的输出，以损失函数最小为目标同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务，得到训练好的基于多任务的深度神经网络。

进一步地，服装关键点的结构类型包括服装款式、摆放方式和感兴趣服装区域的尺寸。

进一步地，服装关键点可视化类型包括可见、遮挡和不存在。

进一步地，损失函数包括第一损失函数、第二损失函数和第三损失函数，

所述第一损失函数为服装关键点的坐标与服装关键点的预测坐标之间的欧式距离；

所述第二损失函数为用于预测服装关键点可视化类型的softmax损失函数；