[发明专利]一种草图识别方法以及该方法在商品检索中的应用

说明书

本发明公开了一种草图识别方法，该方法包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联；S5.输出经过语义树得到的部件所属对象的标签。以及草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，3)根据识别的标签，为用户推荐相应的商品。本发明提高了对完整草图识别的正确率，并且可以节约用户挑选商品的时间，增强用户体验。

技术领域

本发明涉及图像处理领域，特别是涉及一种融合深度学习和语义树的草图识别方法。

背景技术

随着网络的普及，网上购物成了当今社会人们首选的消费方式，用户只需要在购物网站上输入需要物品名称，即可挑选物品，随即下单，即方便了用户，减小了购物成本，又方便了商家，减少了中间商的中转成本。但是，目前用户的选购商品的方式，只限于输入商品名称或者输入实物的照片，再得到推荐列表。而现实生活中，某些情况下，用户并不知晓商品确切的名称，也没有商品实物照片，脑海中只有一个大致的物品形状。这种情况下，选购到令用户满意的商品就成了一种耗时且困难的事情。

随着便携设备的普及，随时随地都可以获取到草图，使用手绘草图来描绘客观世界，已经成为一种流行趋势。草图识别精度的提升对于草图检索有重要的理论意义和应用价值，如购物网站商品检索，客户无需知道商品名称，也无需拥有实物照片，即可通过手绘简单的草图绘制来检索目标商品。

发明内容

本发明的目的即是提供一种高效且便捷的草图识别方法，以方便用户检索商品。

为实现上述目的，本发明提供了一种草图识别方法，该方法包括以下步骤：

S1.获取待处理图片；

S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；

S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；

S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。

本发明的技术特征还在于：

步骤S2包括以下流程：1)将草图拆分到笔画层，2)将笔画的序列组合为笔画组，3)利用现有的3D形状库，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，4)将标注文件中相同标签的笔画进行连接，绘制草图的部件图。

步骤S2中，对完整的草图进行分割后，再对部件图像进行数据增强。

步骤S4，包括以下流程：1)利用语义树，得到部件标签与部件所属对象标签的关联关系，2)使用语义相似度度量方法，获得部件的潜在语义标签，3)根据部件的潜在语义标签，使用基于上下文的语义融合策略，获得部件最终所属对象的标签。

所述草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，

2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，

3)根据识别的标签，为用户推荐相应的商品。

步骤1)中，获取的图片信息，包括用户绘制完成的草图，或用户手绘的过程中，系统响应的草图。

采用以上技术方案，本发明具有以下技术优点：

1.草图的构成简单，没有纹理色彩等信息，本发明认为草图是由具有语义信息的不同部件组成，通过对部件图的识别提高对完整草图识别的正确率。