[发明专利]一种基于着装解析及人体检测的多人服装检索方法

说明书

本发明实施例公开了一种基于着装解析及人体检测的多人服装检索方法，其中，该方法包括：对街拍图像进行多人着装解析处理；对图像中的人脸进行识别、计算，获取人脸位置的数据；结合多人着装解析数据集通过双通道人体检测神经网络，转化出对应的人体分布热度检测图；将其进行离散化处理；用户可以通过前端展示中选择衣物，后端进行数据检索，得出检索结果。对实施本发明实施例，能够满足用户便捷地利用街拍的图像去检索网上商城相似服装的需求。

技术领域

本发明涉及机器视觉、图形学技术领域，尤其涉及一种基于着装解析及人体检测的多人服装检索方法。

背景技术

随着互联网的火爆以及物流行业的发展,网上购物吸引了越来越多的消费者。服装作为人们日常消费的商品之一，其在网上购物的销售额也非常巨大。人们在互联网上找到需要的服装，必须借助服装检索的算法。最初的服装检索算法是基于文本的，正确率较低。于是自然产生了以图搜图的服装检索方法。服装检索起源于图像检索，因此服装检索算法与图像检索算法有类似之处。但服装有丰富的先验信息可以挖掘，如衣物的材质、领口的类型、袖子的长短等。于是很多研究人员常识借住此类先验信息辅助服装检索，并取得了一定成效。

着装解析能将图片中的衣物以像素级的精度分割出来，因此它可以作为一项基础性和前置性研究，有效地提高着装推荐和检索的精度和方便性，也有助于分割不同物体，如动物、人、汽车等。逐渐地，人们把目光转移到服装解析技术上，并将其应用到服装推荐、服装识别等电子商务行业中。

目前，常见的服装解析方法可以分为：基于图割的方法,这类方法最开始是用于前景分割，最近也将其应用于服装分割。它的特点是需要先给定一些的背景信息，建立概率模型来拟合前景与背景的颜色与位置分布，再使用能量函数最小化进行训练，从而完成前景背景区域的分割。这类方法的特点以及缺点在于，鲁棒性不够好，无法处理前景和背景颜色分布类似的图片。所以早期的基于图割的服装分割研究处理的是背景与前景的颜色差别较大且颜色比较单一的图片。由于需要给定背景信息，所以基于图割的服装解析方法首先进行的是人脸识别，从而取得上半身的区域，然后将区域外的像素看作背景，放入混合高斯模型当中训练，并最终得到分割的结果。

随着深度学习的火热，服装解析领域也出现了基于深度网络的方法，这类方法一般先使用CNN提取图像特征，再利用条件随机场或其他的网络进行分类和识别，得到服装分割的结果。也有方法利用形状词典来完成服装解析，词典中包含了各个部位，如衣服、裤子、眼镜、手臂等各种形状，通过对每一个形状进行旋转、缩放、组合，可以产生目标图片的形状，神经网络就是用来学习其中的旋转、缩放、组合的参数。

由于早期的方法大多使用手工方法提取图像特征，提取的特征不能很好的表示图像的信息，没有良好的鲁棒性。目前基于深度学习的方法主要是针对单一场景下的单一目标进行处理，对跨场景以及多目标的图像没有很好的解决办法。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于着装解析及人体检测的多人服装检索方法，用基于深度学习的着装解析方法，解决在跨场景下的多人多目标的服装解析的问题。结合人体检测的信息和着装解析的结果，满足用户利用街拍图像，分割出每个人穿的每一件衣物，循环检索分割出来的每一件衣物，去检索网上商城相似服装的需求。

为了解决上述问题，本发明提出了一种基于着装解析及人体检测的多人服装检索方法，所述方法包括：

对街拍图像进行多人着装解析处理，分割图像中的衣物，获取多人着装解析数据集；

对图像中的人脸进行识别，计算得出图像中人脸的数据；

获取人脸数据及所述街拍图像，逐个输入双通道人体检测神经网络当中，得出每个人脸对应人体的分布热度检测图；

对人体分布热度检测图设定一定阈值，进行离散化处理，将离散化处理后的人体分布热度检测图点乘多人着装解析数据集，获得所有服装区域；