[发明专利]一种基于笔画的场景草图语义分割方法和装置

权利要求书

1.一种基于笔画的场景草图语义分割方法，其特征在于，包括以下步骤：

提取场景草图中笔画的外观特征；

使用笔画的外观特征作为输入，通过循环神经网络捕获笔画在时间维度上的上下文语义关系，对笔画进行时序特征编码，得到时序特征；

通过邻近笔画的位置关系构建笔画之间的图结构，将每个笔画的时序特征作为图的节点，同时计算笔画之间的邻近关系得到邻接矩阵，通过图卷积神经网络对笔画进行空间特征编码，得到空间特征；

对时序特征和空间特征进行融合，根据融合后的特征对每条笔画进行类别预测，完成基于笔画的场景草图语义分割。

2.根据权利要求1所述的方法，其特征在于，所述提取场景草图中笔画的外观特征，包括：

计算场景草图中每条笔画的几何、位置特征；通过卷积神经网络提取每条笔画的纹理特征，与几何、位置特征通过拼接的方式组成笔画的外观特征。

3.根据权利要求1所述的方法，其特征在于，所述场景草图中笔画的几何、位置特征，包括：

笔画包围框左上和右下的相对坐标值4维，笔画从落笔到抬笔绘制所持续的时间1维，笔画的相对长度1维。

4.根据权利要求1所述的方法，其特征在于，所述通过卷积神经网络提取每条笔画的纹理特征，与几何、位置特征通过拼接的方式组成笔画的外观特征，包括：采用预训练的Resnet50作为基础骨架网络对笔画提取256维的纹理特征，将该纹理特征与笔画的几何、位置特征拼接组合为262维的外观特征向量。

5.根据权利要求1所述的方法，其特征在于，所述循环神经网络是双向长短时记忆网络。

6.根据权利要求1所述的方法，其特征在于，所述通过图卷积神经网络对笔画进行空间特征编码，是采用四层的GCN网络对场景草图的图结构进行空间特征更新。

7.根据权利要求1所述的方法，其特征在于，所述根据融合后的特征对每条笔画进行类别预测，是使用softmax函数处理时空融合的特征向量，得到每条笔画对应的类别概率；使用交叉熵损失函数来调整所述循环神经网络、所述图卷积神经网络的模型参数完成模型训练。

8.一种基于笔画的场景草图语义分割装置，其特征在于，包括：

外观特征提取模块，用于提取场景草图中笔画的外观特征；

时序特征编码模块，用于使用笔画的外观特征作为输入，通过循环神经网络捕获笔画在时间维度上的上下文语义关系，对笔画进行时序特征编码，得到时序特征；

空间特征编码模块，用于通过邻近笔画的位置关系构建笔画之间的图结构，将每个笔画的时序特征作为图的节点，同时计算笔画之间的邻近关系得到邻接矩阵，通过图卷积神经网络对笔画进行空间特征编码，得到空间特征；

特征融合模块，用于对时序特征和空间特征进行融合；

类别预测模块，用于根据融合后的特征对每条笔画进行类别预测，完成基于笔画的场景草图语义分割。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一项所述的方法。