[发明专利]一种基于笔画的场景草图语义分割方法和装置

说明书

本发明涉及一种基于笔画的场景草图语义分割方法和装置。该方法包括：提取场景草图中笔画的外观特征；使用笔画的外观特征作为输入，通过循环神经网络对笔画进行时序特征编码，得到时序特征；通过邻近笔画的位置关系构建笔画之间的图结构，将每个笔画的时序特征作为图的节点，同时计算笔画之间的邻近关系得到邻接矩阵，通过图卷积神经网络对笔画进行空间特征编码，得到空间特征；对时序特征和空间特征进行融合，根据融合后的特征对每条笔画进行类别预测，完成基于笔画的场景草图语义分割。本发明通过融合外观、时序、空间三个不同层次的特征，能够对场景草图中的每条笔画进行分类识别，实现基于笔画特征的场景草图语义分割。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于笔画的场景草图语义分割方法和装置。

背景技术

草图从古至今一直被用作主要的交流工具，有利于用户意图的直观自然表达。手绘草图是人类思维表达和交流的一种自然有效的方式，使用简单的图形来表达人们的抽象思维，它兼有文字的语义特性，也具有“一图胜千言”的效果，使得人们看到一幅草图后往往能够马上联想到其传递的语义信息。草图本身所具有的快速勾画、抽象性、符号化等特点，使其能够作为一种很好的信息表达媒介，提高了用户意图转化的效率。随着触控屏越来越普及，人机交互方式发生了很大的变化，触屏成为了主流的输入方式，人们越来越频繁地通过触控屏绘制草图，产生大量的电子化草图。与传统的纸笔交互不同，数字化草图除了易于修改、便于保存、快速传播等优点外，还可以记录绘制过程中的笔画时序信息，复现思维的演化过程，同时为草图理解提供了更多维度的特征。

早期的草图数据集大多是收集单个草图物体，随着跨模态检索和生成等任务的提出，草图数据集的构建也发生了两个方面的变化：从单模态向多模态变化；由单物体向多物体(场景草图)变化。场景草图由多个前景物体和背景共同组成，相比于单物体草图，包含了更复杂多样的语义信息，在现实生活中有着更广泛的应用。单物体草图数据集大多通过自由手绘的方式收集，并保存为矢量格式。现有的SketchyScene(参考文献：Zou,C.,Yu,Q.,Du,R.,Mo,H.,Song,Y.Z.,Xiang,T.,...Zhang,H.(2018).Sketchyscene:Richly-annotated scene sketches.In Proceedings of the European onference on ComputerVision(ECCV)(pp.421-436).)和SketchyCOCO(参考文献：Gao,Chengying,et al.Sketchycoco:Image generation from freehand scene sketches.Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).2020.)贡献了两个包含前景物体和背景的场景草图数据集。但是它们都是通过拖拽单物体草图到相应的位置构建而成，而且保存为图像格式，丢失了草图特有的矢量性、时序性等特性。草图除了与图像一样的直观视觉特征外，还保存了笔画绘制的顺序。同时因为其固有的抽象性、稀疏性等特点，直接使用图像常用的深度卷积模型不能充分挖掘草图的特征。包含笔画时序信息的场景草图数据集可以充分挖掘时序、空间、视觉像素等细粒度特征，对于场景草图的识别、理解等任务有重要的作用。