[发明专利]一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质

说明书

本发明提供了一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质，该方法包括：步骤1，草图预处理步骤：对草图进行平移、旋转和缩放，对草图轮廓进行细化；步骤2，转换步骤：草图轮廓转变为坐标点集；步骤3，深度学习步骤：坐标点集的深度学习表示；步骤4，分割步骤：通过多尺度的草图部件分割框架MCPNet将具有相似几何结构的特征点集中在一起，学习不同特征点之间的全局空间结构和局部结构关系，从而完成草图部件的分割。本发明的有益效果是：本发明MCPNet是建立在坐标点集之上，比直接处理图像像素信息的网络降低了计算的成本，而且将草图信息转换为点集特征进行考虑解决了草图的空白背景对草图分割结果的影响。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质。

背景技术

随着便捷化手绘板的出现，笔式交互成了一种新的人机交互方式之一，人机交互界面由触摸屏模拟了笔纸的环境。草图作为一种简单抽象的交流方式，依靠的是人的记忆通过描绘和模仿来进行信息的表达，对人们来说，仅用几条简单的线条就能勾勒出自己想要的形状或者场景使得交互方式变得更加的简单方便，也更加符合人们对事物的认知。

因此，基于草图分析的应用技术已经成为计算机视觉和图形领域的一个活跃的研究课题，其中草图分割是草图分析的基础。目前存在的草图分析大部分是考虑草图的整体性质，缺乏对草图部件结构进行分析和理解。草图分割是的主要任务是把草图分割为具有语义的部件，然后识别出每个部件完成对草图内容、语义的理解。目前，草图分割与标注被广泛的应用于诸多领域，如草图部件建模[1]，草图编辑[2]，草图解析[3]。同时，手绘草图分割问题推动了许多新颖的应用，如草图字幕[4]，基于手绘草图部件的三维模型检索[5]和草图的生成[6]。Huang等人在2014年[7]首次提出了一种基于数据驱动的草图语义分割方法。后来，Qi等人[8]提出了一种感知分组框架，并将素描分割问题进一步表述为一个图形分割问题，在全局优化框架下，采用多格式塔提示的排序策略对笔画进行分组以及Schneider等人[9]通过使用条件随机场(CRF)找到最合理的全局标记来解决草图分割问题。

近年来，深度学习发展迅猛，在图像分割领域已经得到了广泛的应用。如何基于深度学习的方法帮助人们对手绘草图的几何结构进行分析和理解具有重要的意义。深度卷积神经网络特别是处理具有丰富信息的自然图像，能充分引用图像的不同层次的特征信息从而得到图像的语义分割。然而，对于草图语义分割来说是一项非常具有挑战性的任务。虽然草图是一种简单的图像，但是草图不同于图像，草图包含有非常稀疏和单一的像素信息，并且草图是一种特殊的几何结构，尤其是当草图笔画不完整、笔画抖动强烈、抽象性程度高和歧义性大的时候，会使得对草图的分割变得更加困难，从而造成各个部件之间的语义模糊。因此，利用深度学习探索草图语义分割新方法已经成为目前草图分析和处理领域的一项值得研究的重要内容。

现有技术一的技术方案:

目前图像分割领域最具有代表性的是Long等人[10]提出的端到端的全连接卷积神经Fully ConvolutionalNetworks(FCN)，该网络将图像级别的分类任务细化到像素级别的分类，为每一个像素找到对应的语义部件。FCN将卷积网络中最后的全连接层替换为卷积层(卷积化)。由于FCN通过上釆样和特征层裁剪操作，可以使得任何大小的图像统一到相同的尺寸保证能端到端的训练，实现了像素(Pixel-Wise)级别的图像分割预测。

FCN方法采用VGG16网络的16个卷积层、5个最大池化层、3个全连接层以及1个softmax层。将原本3个全连接层转换为卷积层，并移除softmax层，成功地将分类的神经网络转换为图像分割的网络。FCN通过卷积化操作，图像的分割率逐渐降低，为了保证低分辨率的图像恢复到初始化状态，需要对低分辨率的图像进行上采样。比如，原图通过5次卷积之后，图像的大小缩小了32倍，对于最后一层的输出，需要进行32倍的上采样，得到和原图一样大小分辨率的分割图。基于FCN网络的流程图如图1所示。

基于FCN图像分割的步骤如下：