[发明专利]一种多数据融合的草图图像分割方法、系统、装置及存储介质

说明书

本发明提供了一种多数据融合的草图图像分割方法、系统、装置及存储介质，该草图图像分割方法包括草图像素特征处理步骤：生成像素级别的特征分割图；草图轮廓点集特征处理步骤：得到特征点级的分割图；融合步骤：通过多数据融合的草图分割深度学习网络SPFusionNet将SPointNet网络和SketchNet网络两种格式不同的输出结果统一转化为基于像素的分割结果，得到最终的草图分割结果。本发明有益效果是：本发明通过SketchNet网络处理草图图像并转换为像素级的特征图，通过SPointNet网络将草图转换为点集最终得到点级的分割结果图，通过对草图点集特征和像素信息特征进行融合，从而提高图像分割的准确率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多数据融合的草图图像分割方法、系统、装置及存储介质。

背景技术

随着数字技术的快速发展和数码设备的广泛普及，以图像、视频、三维模型等为代表的可视媒体数据呈现出了爆发式的增长态势。这些数据不仅体量庞大，种类繁多，而且信息模态和结构也存在着巨大差异。如何有效地管理、存储和访问这些数字资源已经成为计算机多媒体领域所面临的重要挑战。作为协助人们从海量数据仓储中获取有价值信息的重要手段，信息检索技术已经引起了广泛关注并得到了系统深入地研究。然而，由于可视媒体内容的特点，传统的基于关键词和内容的检索技术仍然存在着很大的局限性。触控设备和人机交互技术的巨大进步使得基于手绘草图的跨域检索技术成为可能。

同时，通过对草图部件进行分割，并通过草图分割的部件和图像或者三维模型分割的部件建立部件之间的对应关系进行三维模型的检索，该算法成功的应用了草图精细化分析的结果。草图的应用分析也成为计算机视觉和图形领域的一个活跃的研究课题。其中，草图分割是精细化草图分析的一个重要步骤，主要任务是把草图分割为具有语义的部件，然后识别出每个部件完成对草图内容、语义的理解。目前，草图分割与标注被广泛的应用于诸多领域，如草图部件建模[1]，草图编辑[2]，草图解析[3]。同时，手绘草图分割问题推动了许多新颖的应用，如草图字幕[4]，基于手绘草图部件的三维模型检索[5]和草图的生成[6]。

深度卷积神经网络最近几年在图像分割领域得到了广泛的应用，特别是处理具有丰富信息的自然图像，能充分引用图像的不同层次的特征信息从而得到图像的语义分割。然而，对于草图语义分割来说是一项非常具有挑战性的任务。虽然草图是一种简单的图像，但是草图不同于图像，草图包含有非常稀疏和单一的像素信息，并且草图是一种特殊的几何结构，尤其是当草图笔画不完整、笔画抖动强烈、抽象性程度高和歧义性大的时候，会使得对草图的分割变得更加困难，从而造成各个部件之间的语义模糊。因此，同时探索草图的像素信息和草图轮廓的几何结构对草图语义分割准确率的提高是一项值得研究的重要内容。

现有技术一的技术方案：

目前图像分割领域最具有代表性的是Chen等人[7]提出的Deeplab卷积网络通过改进FCN[8]中卷积和上采样操作导致的图像特征丢失问题。如图1所示，利用带孔的卷积(Atrous Convolution)，增加特征密度，多孔卷积可以在深度卷积网络中计算特征响应时，有效的增加了网络的感受野捕获到更多的图像特征信息合成有效的细节特征，而且不会增加参数数量或计算量。通过结合空洞卷积与双线性插值将低分辨率图在保证完整特征信息的基础之上还原为原图大小，并且可以采用不同尺度的空洞卷及操作捕获图像的特征。并且在最后采用后处理的方式连接一个CRF模型，增强对物体边界的处理，进一步提升了该模型抓取细节特征的能力，优化了分割效果。

基于DeepLab图像分割的步骤如下：

(1)输入一张任意大小的自然图片；

(2)采用了FCN得到粗糙分割图并插值到原图像大小；

(3)通过空洞卷积(Atrous convolution)算法应用到图像分割模型上来扩展感受野，获取更多的上下文特征信息；