[发明专利]一种基于两阶段的服装关键点定位方法和系统

权利要求书

1.一种基于两阶段的服装关键点定位方法，其特征在于，包括如下步骤：

(1)采用基于多任务的深度神经网络对服装图像中的服装关键点进行定位，得到服装关键点的粗定位信息；

(2)根据服装关键点的粗定位信息，提取感兴趣服装区域；

(3)采用深度全卷积网络对感兴趣服装区域中的服装关键点进行定位，得到服装关键点的最终定位信息；

所述基于多任务的深度神经网络通过同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务后得到。

2.如权利要求1所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述基于多任务的深度神经网络的训练包括：

对样本服装图像集合中的每个样本服装图像，标注服装关键点的坐标、服装关键点的结构类型和服装关键点可视化类型，得到标注后的样本服装图像集合；

所述服装关键点的结构类型通过对服装关键点向量进行聚类后的聚类中心向量表示，将标注后的样本服装图像集合作为基于多任务的深度神经网络的输入，将服装关键点的预测坐标、服装关键点可视化类型的预测概率和服装关键点的预测坐标与聚类中心向量之间的距离作为基于多任务的深度神经网络的输出，以损失函数最小为目标同时训练服装关键点的坐标回归任务、服装关键点的结构类型预测任务和服装关键点可视化类型预测任务，得到训练好的基于多任务的深度神经网络。

3.如权利要求2所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述服装关键点的结构类型包括服装款式、摆放方式和感兴趣服装区域的尺寸。

4.如权利要求2所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述服装关键点可视化类型包括可见、遮挡和不存在。

5.如权利要求2所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述损失函数包括第一损失函数、第二损失函数和第三损失函数，

所述第一损失函数为服装关键点的坐标与服装关键点的预测坐标之间的欧式距离；

所述第二损失函数为用于预测服装关键点可视化类型的softmax损失函数；

所述第三损失函数为服装关键点的预测坐标组成的向量与聚类中心向量之间的欧式距离。

6.如权利要求1-5任一所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述深度全卷积网络的训练包括：

对样本服装图像集合中的每个样本服装图像，提取样本感兴趣服装区域图像、在样本感兴趣服装区域图像上标注服装关键点的坐标；

将标注后的样本感兴趣服装区域图像作为深度全卷积网络的输入，将深度全卷积网络输出的响应图上的最大值对应的坐标作为样本感兴趣服装区域图像上的服装关键点的预测坐标，以第四损失函数最小为目标训练深度全卷积网络得到训练好的深度全卷积网络；

所述第四损失函数为样本感兴趣服装区域图像上的服装关键点的预测坐标与标注的服装关键点的坐标之间的欧式距离。

7.如权利要求1-5任一所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述服装关键点的粗定位信息包括：服装关键点的粗定位坐标和服装关键点的结构类型。

8.如权利要求7所述的一种基于两阶段的服装关键点定位方法，其特征在于，所述步骤(2)包括：

利用服装关键点的粗定位坐标结合服装关键点的结构类型，自适应生成包含服装关键点在内的矩形框，将矩形框作为感兴趣服装区域。