[发明专利]一种多数据融合的草图图像分割方法、系统、装置及存储介质

权利要求书

1.一种多数据融合的草图图像分割方法，其特征在于，包括如下步骤：草图像素特征处理步骤：通过SketchNet网络处理草图图像像素信息，SketchNet网络以编码器-解码器的方式工作，在编码阶段，利用空间不变性增强残差结构学习和提取层次抽象的特征表示，然后，在解码阶段将多级表示结合在一起，以生成像素级别的特征分割图；

草图轮廓点集特征处理步骤：通过SPointNet网络处理草图轮廓线的几何结构信息，SPointNet网络计算草图轮廓点的几何特征，图像经过多次卷积操作以后使得图像的分辨率逐渐降低，然后通过上采样，将低分辨率的图像放大到与原始图像分辨率相同，得到特征点级的分割图；

融合步骤：通过多数据融合的草图分割深度学习网络SPFusionNet将SPointNet网络和SketchNet网络两种格式不同的输出结果统一转化为基于像素的分割结果，使用1×1卷积层得到像素级的概率分割图得到最终的草图分割结果；

在所述草图像素特征处理步骤中，空间不变性增强残差结构包括空间变换模块和残差学习模块，空间变换模块包括本地网络、网格生成器和采样器，所述本地网络用于将输入的图片经过若干卷积或者全连接操作后连接一个回归层输出变换参数；

网格生成器是依据预测的变换参数来构建一个采样网格，它是一组输入图像中的点经过采样变换后得到的输出，网格生成器用于将目标图V中的坐标位置，通过矩阵运算，计算出目标图V中的每个位置对应原图U中的坐标位置；

采样器利用采样网格和输入的特征图同时作为输入得到输出结果，输出的特征图上每一个像素点都会通过空间变换到对应到输入特征图的某个像素位置；

残差学习模块通过恒等映射函数H(x)＝x保证随着SPFusionNet网络层数的增加不会造成精度下降；

所述编码器包括三个残差块和两个仿射不变块，第一个残差块是由3个通道数为64的残差项和4个通道数为128的残差项组成,第二残差块由6个通道为256的残差项组成，第三个残差块是由3个通道为512的残差项组成，所有残差块的卷积核大小都为3×3；SktchNet输入的图片大小为3×800×800，通过以上阶段，最后一个残差块输出的特征大小为128×25×25，图像的分辨率缩小了1/32；在卷积化过程中分别在残差块的第一阶段和第二阶段嵌入了一个仿射不变块，第二和第三阶段也同样增加了仿射不变块；

所述解码器:为了得到和原图等大的分割图，总共进行了2×2×8＝32倍的上采样，得到三个不同的特征图U_k,k＝1,2,3；

在所述草图轮廓点集特征处理步骤中，SPointNet网络在最大池化层之前总共有三个卷积层，每一层的卷积核大小为3，经过每层卷积之后的通道数分别是64、128、1024，得到一个n×1024全局特征图，复制n组全局特征图得到n×1088的特征图，最后，通过5个卷积层得到一个n×24的语义部件分割图，每个点表示的是对应于24个部件中的一个部件，其中这5个卷积层对应的通道数分别是1024、512，、256、128和24；

在所述融合步骤中，得到一个大小为25×800×800像素概率分割图S，通过SPointNet网络得到点集所对应的部件概率图为P，大小为n×C，其中C为部件个数，在这里总共有24个部件；首先将点集部件概率图P转化为像素概率分割图S_P，在进行像素分割的时候，空白部分也是整张草图的一部分，看作为一个空白部件；在分割图P的最左侧添加一个大小为n×1的数组，其中的元素都为0，这样就得到一个特征大小为n×25的点集部件分割图P_C+1，矩阵中的元素为1≤i≤n,1≤c≤C+1，点p_i表示的是属于部件c的概率；在800×800的图像上转换为一张像素部件概率图其中的元素1≤i,k≤800,1≤c≤C+1表示的是该点p的像素所对应的部件概率，i,k表示的该点p的坐标位置。

2.根据权利要求1所述的草图图像分割方法，其特征在于，在所述融合步骤中，将SketchNet网络和SPointNet网络的输出结果统一转换为基于像素级的分割结果，然后将SketchNet网络和SPointNet网络的分割结果进行级联操作，最后，使用1×1卷积层得到像素级的概率分割图得到最终的草图分割结果。