[发明专利]融合纹理特征与形状特征的时序性的草图识别方法

摘要

本发明属于计算机视觉领域，公开了一种融合纹理特征与形状特征的时序性的草图识别方法。首先，按照草图的笔画顺序获取一个图像序列；其次，提取每个图像的纹理特征和形状特征，形成对应于图像序列的特征序列；然后，将特征输入到包含两个阶段的网络中进行学习，第一阶段的两个循环神经网络分别接受图像的纹理特征和形状特征，第二阶段首先融合上一阶段的输出，然后输入到第三个循环神经网络，最后通过分类器得到结果，如此，按照序列中的顺序进行迭代学习。优点：将几何描述子用于草图识别，同时采用循环神经网络对草图的时序特征进行有效学习，从而显著改善原有识别模型忽视草图形状特征与时序性特征的缺陷，较好地提升草图识别率。

主权项

1.一种融合纹理特征与形状特征的时序性的草图识别方法，包括以下步骤:步骤1.获取图像序列对于每一个草图S，有N个顺序笔画，将S表示为(s1,s2,...,sN)；其中，si为该草图S的第i个顺序笔画，i为[1,N]之间的整数；建立一个包含P个图像的序列(I1,I2,...,IP)，其中，第t个图像It包含了笔画s1到st×N/P，t为[1,P]之间的整数；步骤2.提取图像特征对上述图像序列中的每一幅图像I_t，提取图像纹理特征提取图像形状特征步骤3.利用循环神经网络对草图笔画进行迭代学习搭建一个包含两个阶段和3个GRU的网络；然后，按照图像序列(I₁,I₂,...,I_P)的顺序进行迭代学习；其中，第t行即为利用图像I_t的纹理特征和形状特征进行第t次迭代学习；其中，每一步的迭代学习又包含两个阶段：步骤3‐1第一阶段的2个GRU分别学习了一个从输入序列和到输出和的映射；以形状特征为例，给出如下解释：其中，和表示GRU的输入和输出，h_t是GRU的隐藏状态，并由其他三个门单元r、m和决定；操作符⊙表示向量的对应元素相乘；W_*和U是权重矩阵，b_*是GRU的权重向量；同理，将另一个GRU将纹理特征映射到步骤3‐2在第t次迭代学习中，第二阶段的输入是(y_texture^Ty_shape^T)^T，输出则为其中，首先将线性函数W(y_texture^Ty_shape^T)^T+b应用于第二阶段的开始位置，W的维度为256*128，用以融合被记忆的纹理特征和形状特征；然后将融合后的特征输入第3个GRU网络；而第二阶段GRU的输出则与最终作为分类器的softmax层进行稠密连接，得到分类结果。