[发明专利]一种基于语义一致性的人体衣物分割方法

说明书

本发明公开了一种基于语义一致性的人体衣物分割方法，用于在给定单帧单人衣物图片的情况下，分析每一帧的衣物区域语义情况。具体包括如下步骤：获取用于训练人体衣物分割的图像数据集，并定义算法目标；对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；对每一组图片对在流型空间中的相邻关系进行联合建模；建立衣物分割的预测模型；使用所述预测模型解析图片中衣物的语义信息。本发明适用于真实图像中的衣物分割分析，面对各类复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明涉及计算机视觉领域，特别地涉及一种基于语义一致性的人体衣物分割方法。

背景技术

衣物语义分割作为一种低层视觉技术，常作为一些高层视觉任务的辅助信息，如衣物检索、衣物属性分析等。衣物分割的目标是给定一张图像，预测图片中每个像素点的分类标签。衣物分割的关键因素主要包括衣物种类类内表观差异性巨大、衣物的非刚性以及衣物的极度可变形特点。传统方法一般将衣物分割任务看成一个语义分割问题，尽管一些方法在分类精度上取得了突破，但是其没有充分利用已有数据的信息。

由于统计建模的有效性，目前基于学习的方法逐渐被应用到语义分割任务中。现有的基于学习方法主要是采用端到端的深度学习框架，输入一张原始三通道颜色图片，输出预测的语义分割图。深度学习能够有效地解决特征表示的问题，但是在面对衣物分割中缺乏足够的精确标注的数据集的问题时，数据量的不足限制了深度学习的效果，同时衣物的可变形特点使得普通的卷积无法提取到合理的特征。

发明内容

针对以上问题及实际中配电网建设的需要，本发明提供了一种基于语义一致性的人体衣物分割方法。本发明具体采用的技术方案如下：

一种基于语义一致性的人体衣物分割方法包括以下步骤：

S1、获取用于训练人体衣物分割的图像数据集，并定义算法目标；

S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；

S3、对每一组图片对在流型空间(即语义空间)中的相邻关系进行联合建模；

S4、建立衣物分割的预测模型；

S5、使用所述预测模型解析图片中衣物的语义信息。

作为优选，所述S1中的图像数据集包括单帧图像I_train和人工标注的语义分割图P_train；所述的算法目标为预测单帧图像中的衣物语义分割图

作为优选，所述S2包括以下子步骤：

S21、对于每个单帧图像I_train，从预训练好的人体姿态估计模型Openpose中提取人体姿态特征C_pose和图像表观特征C_appearance，通过串接C_pose和C_appearance，得到单帧图像I_train对应的图片特征G_I；

S22、对图像数据集中的图片两两计算相似度，其中，任意两张图片I_train和I′_train的相似度α计算如下：

其中C_empty为与G_I图片大小一样且值全部为0的一张图像的图片特征；C′_I为对于单帧图像I′_train，根据与单帧图像I_train相同的方法得到的图片特征；Euclidean()表示计算欧氏距离；